本地搭建hadoop叢集--hadoop2.7.6-src在linux上編譯解決downloading過慢教程
第一步：工具的準備
apache-ant-1.9.9-bin.tar.gz
apache-maven-3.0.5-bin.tar.gz
hadoop-2.7.6-src.tar.gz
jdk1.7 就好別用1.8 據說 用1.8 maven 編譯 會報各種錯。
protobuf-2.5.0.tar.gz
以上就是需要的所有 工具
第二部：linux 可以連線外網。
第三部：給 linux 虛擬機器 至少分配 4g 以上記憶體。記憶體的過低編譯會報錯。建議分配多一些。
我的個人總結：
1、不要指望一次就能編譯成功。概率很小，因為會各種假死
2、如果卡在downloading 時間過長請 ctrl+c 結束 。重新編譯
3、我一開始使用repo.apache 砸七砸八速度賊慢。等的人心累。以下內容我從網上找了很多解決方案才得以編譯完成。並提速
4、如果沒有耐心還是忽略此文章
5、網上提供的二進位制tar包2.X版本據說是32位。據說。據說。據說。網上說法不一致，也有的人認為，每臺機器硬體配置不一樣對應的依賴以及lib不一樣。造成編譯後包不一定適用於所有機器，才需要編譯。編譯不是什麼高階的東西。
獻上我編譯成功的截圖
首先將以上的包匯入到linux 伺服器
網上有很多教程。我這裡不細說
必須進入root賬戶。以免在編譯過程中遇到一系列奇葩錯誤
mkdir /opt/softWareFile
mkdir /opt/module
將以上幾個包匯入
1) 解壓檔案
tar -zxvf jdk-7u80-linux-x64.tar.gz -C /opt/module
tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module
tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module
tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module
tar -zxvf hadoop-2.7.6-src.tar.gz -C /opt
2)配置環境變數
vi /etc/profile
shift+G 移動到末尾
o 換行編輯
將以下內容貼上進去
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin
#ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin
#LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH
按esc :wq儲存退出
3)source /etc/profile
使配置檔案生效
4)安裝 glibc-headers 和 g++ 命令如下:
yum install glibc-headersyum install gcc-c++
5)安裝 make 和 cmake
yum install make
yum install cmake
cd /opt/protobuf-2.5.0
./configure
make
make check
make install
ldconfig
6)然後驗證配置檔案是否生效
java -version
ant -version
mvn -version
protoc --version
7)安裝 openssl 庫
yum install openssl-devel
8)安裝 ncurses-devel 庫：
yum install ncurses-devel
9）修改mvn 使用 阿里源。否則太慢了
cd /opt/module/apache-maven-3.0.5/conf
vim settings.xml
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>
<!-- 涓ぎ浠搴1 -->
<mirror>
<id>repo1</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>http://repo1.maven.org/maven2/</url>
</mirror>
<!-- 涓ぎ浠搴2 -->
<mirror>
<id>repo2</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>http://repo2.maven.org/maven2/</url>
</mirror>
儲存退出
10）進入目錄
[[email protected] opt]# cd hadoop-2.7.6-src/
[[email protected] hadoop-2.7.6-src]# mvn package -Pdist,native -DskipTests -Dtar
慢慢等吧 卡死就ctrl+c 然後繼續執行上面的編譯命令
只要不是卡在downloading 就有戲。
以下目錄就是 最終64位 hadoop 目錄
工具見下載連線：
https://download.csdn.net/download/qq_18730505/10543536