1. 程式人生 > >Hadoop2.x系列之源碼編譯

Hadoop2.x系列之源碼編譯

bsp 要求 findbugs 1.3 結束 移動 替換 編譯工具 新版

一、編譯源碼步驟演示詳解

官網下載的hadoop包,執行hadoop命令時,會有警告信息,為去除此警告,需要重新編譯hadoop相應版本的源碼,替換hadoop安裝包lib目錄下的native(警告如下圖所示)

技術分享

. 編譯hadoop環境要求

1、必須在linux系統下編譯

2、編譯使用的JDK版本必須是1.6以上

3、編譯需要使用Maven版本3.0以上(因為源碼是由Maven管理的)

4、安裝Findbugs插件工具,版本1.3.9

5、安裝CMake編譯工具,版本2.6或最新版本

6、安裝zlib devel

7、安裝openssl devel

8、編譯時必須連接互聯網

=================================== 編譯開始 ===================================

第一步:解壓hadoop源碼安裝包:版本以hadoop-2.7.3-src.tar.gz為例,解壓之前需在此鏈接中下載2.7.3版本的源碼包(https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/)

技術分享

第二步:配置JDK, 並使profile文件生效,版本:1.8 (必須得有root權限)

技術分享

技術分享

技術分享

技術分享

第三步:配置Maven,並使profile文件生效, (必須得有root權限)

技術分享

技術分享

技術分享

技術分享

第四步:安裝gcc/gcc-c++/make工具,(必須得有root權限)

技術分享

技術分享

第五步:解壓安裝protobuf工具,此包提供下載鏈接:http://pan.baidu.com/s/1kUK5HHH

技術分享

技術分享

技術分享

第六步:配置protobuf環境變量

技術分享

技術分享

技術分享

技術分享

第七步:下載安裝CMake、openssl-devel、ncurses-devel依賴包

技術分享

技術分享

技術分享

第八步:開始編譯hadoop源碼包,先移動到hadoop源碼安裝目錄下

技術分享

編譯成功!整個過程大約需要等待20~30分鐘,如下圖

技術分享

第九步:替換原來的native目錄,執行命令查看下,不再提示警告,編譯好的文件在源碼安裝包的hadoop-dist目錄下,具體目錄替換目錄如下圖所示:

技術分享

=================================== 編譯結束 ===================================

Hadoop2.x系列之源碼編譯