1. 程式人生 > >Hadoop-2.7.3-src 源碼編譯

Hadoop-2.7.3-src 源碼編譯

get 交換 strong cmake ln -s 依次 2.6 tools openssl

Hadoop-2.7.3 編譯

1.需要環境梳理

BUILDING JDK1.7+
maven 3.0 or later
findbugs 1.3.9
protocolBuffer 2.5.0
cmake 2.6
zlib-devel
openssl-devel ...

2.安裝JDK

JDK 下載jdk-8u181-linux-x64.tar.gz,解壓後移動到/app 目錄下 tar -zxvf jdk-8u181-linux-x64.tar.gz && ln -s jdk1.8.0_181 jdk

配置jdk環境變量(profile or bashrc)
vim /etc/profile

export JAVA_HOME=/app/jdk

export CLASSPATH=.:\(JAVA_HOME/jre/lib/rt.jar:\)JAVA_HOME/lib/tools.jar

export PATH=\(PATH:\)JAVA_HOME/bin

export JRE_HOME=/app/jdk/jre

export PATH=\(PATH:\)JRE_HOME/bin

3.安裝各種依賴庫

yum -y install svn ncurses-devel gcc*

yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

4.安裝protobuf-2.5.0.tar.gz(註意版本必須是2.5.0,hadoop 體系目前均采用 2.5.0版本作為數據交換的標準格式,Hadoop 3.X.X 也對此均未升級)

Protobuf can be found for download here.

tar zxvf protobuf-2.5.0.tar.gz,
進入protobuf-2.5.0 依次執行.
cd protobuf-2.5.0 進入目錄,

Here is the code:

假如你希望編譯成功後輸出的目錄 為 /usr/protobuf/  則輸入如下兩條命令:

./configure --prefix=/usr/protobuf/ 

make && make install

編譯成功後將export PATH=/usr/protobuf/:$PATH加入到環境變量中,重新登陸或者直接source 使其生效。
(註意PATH 添加謹慎空格換行等特殊操作符號,以免使系統本身環境變量失效)

最後輸入  protoc --version命令,如顯示libprotoc 2.5.0則安裝成功

5.安裝maven

下載apache-maven-3.6.0-bin.tar.gz 到/app 目錄
解壓縮並配置環境變量


tar -zxvf apache-maven-3.6.0-bin.tar.gz
ln -s apache-maven-3.6.0 maven
配置環境變量:
vim /etc/profile
在末尾添加:
export MAVEN_HOME=/app/maven
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$PATH:$MAVEN_HOME/bin

6.安裝ant

下載apache-ant-1.9.4-bin.tar.gz 到/app 目錄下
解壓縮並配置環境變量


解壓:
cd /app
tar -zxvf apache-ant-1.9.4-bin.tar.gz
ln -s apache-ant-1.9.4 ant
配置環境變量
同上,在/etc/profile文件末未添加:
export ANT_HOME=/app/ant
export PATH=$PATH:$ANT_HOME/bin
然後保存,退出,並source使更改生效。
查看安裝結果:
ant -version

7.安裝findbugs

下載findbugs-3.0.1.tar.gz 到 /app 目錄
解壓縮並配置環境變量

解壓:
tar -zxvf findbugs-3.0.1.tar.gz
ln -s  findbugs-3.0.1 findbugs
配置環境變量:
在 /etc/profile 文件末尾添加:
export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin
保存退出,並source使更改生效。

8.編譯Apache Hadoop 2.7.3

進入到hadoop-2.7.3-src目錄


cd hadoop-2.7.3-src
mvn package -Pdist,native -DskipTests -Dtar
等待編譯完成,安裝包會生成在目錄
/hadoop-dist/target/*******

Hadoop-2.7.3-src 源碼編譯