CentOS7.3编译hadoop2.7.3源码

2019-02-06 20:43:31 阅读：403 来源： 互联网

标签：hadoop2.7 protobuf tar hadoop 源码 home CentOS7.3 findbugs 2.5

在使用hive或者是kylin时，可以选择文件的压缩格式，但是这个需要有hadoop native库的支持，默认情况下，hadoop官方发布的二进制包中是不包含native库的，所以无法使用一些压缩相关的算法。本例中选择自己手动编译hadoop源码，并将native文件部署到hadoop安装目录/lib目录下。

1. 环境准备

a) 安装JDK(1.7以上版本),本例中安装jdk1.8
b) 安装maven(3.0以上版本)，参见本人博文
c) yum install -y CMake openssl-devel ncurses-devel gcc gcc-c++ #cmake必须是2.6以上版本

d) 安装findbugs

2. 安装JDK1.8

详情请参见本人博文

3. 安装依赖包

yum install -y CMake openssl-devel ncurses-devel gcc gcc-c++

4. 安装protobuf-2.5.0

下载protobuf-2.5.0

mkdir  -p /home/workspace/software
wget https://github-production-release-asset-2e65be.s3.amazonaws.com/23357588/09f5cfca-d24e-11e4-9840-20d894b9ee09?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20190206%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20190206T094303Z&X-Amz-Expires=300&X-Amz-Signature=566da401f7f657ebf24ce768f0f2000ab1ab2d6815d9b6c289bb70335b119602&X-Amz-SignedHeaders=host&actor_id=30103731&response-content-disposition=attachment%3B filename%3Dprotobuf-2.5.0.tar.gz&response-content-type=application%2Foctet-stream
tar -xzvf protobuf-2.5.0.tar.gz    #解压protobuf2.5.0
cd protobug-2.5.0                  #进入protobuf源码目录
mkdir installed

编译protobuf-2.5.0源码

./configure --prefix=/home/workspace/software/protobuf-2.5.0/installed     #make install之后的二进制文件安装的目录通过--prefix指定
make                                                                       #编译protobuf-2.5.0源码
make install                                                               #安装编译好的文件到/home/workspace/software/protobuf-2.5.0/installed

配置protobuf环境变量

vim /etc/profile

文件末尾添加

export PROTOBUF_HOME=/home/workspace/software/protobuf-2.5.0/installed
export PATH=$PROTOBUF_HOME/bin/:$PATH

保存退出，并执行 source /etc/profile使环境变量配置生效

5. 安装findbugs-3.0.1

cd /home/workspace/software
wget https://nchc.dl.sourceforge.net/project/findbugs/findbugs/3.0.1/findbugs-3.0.1.tar.gz
tar -xzvf findbugs-3.0.1.tar.gz
cd findbugs-3.0.1

配置环境变量

vim /etc/profile

在文件末尾添加

export FINDBUGS_HOME=/home/workspace/softwares/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin

保存退出，并使更改生效。
查看安装结果

findbugs -version

6. 编译hadoop2.7.3

下载hadoop2.7.3

cd /home/workspace/software
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
tar -xzvf hadoop-2.7.3-src.tar.gz
cd hadoop-2.7.3-src

编译hadoop2.7.3

mvn clean package -DskipTests -Pdist,native -Dtar

编译将会持续一段时间，取决于maven仓库的速度，大概需要半小时以上

编译好的文件路径为:/home/workspace/software/hadoop-2.7.3-src/hadoop-dist/target/hadoop-2.7.3.tar.gz

7. 替换原来的native包

rm -rf $HADOOP_HOME/lib/native
cp  -r /home/workspace/software/hadoop-2.7.3-src/hadoop-dist/target/  $HADOOP_HOME/lib

标签：hadoop2.7,protobuf,tar,hadoop,源码,home,CentOS7.3,findbugs,2.5
来源： https://www.cnblogs.com/lenmom/p/10353902.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

CentOS7.3编译hadoop2.7.3源码