1.1安裝centos7

在centos官網下載centos7映象檔案，在Virtualbox軟體中匯入映象檔案進行安裝，本次由於實驗環境限制，只安裝了三臺centos7虛擬機器，分別命名為hadoop1,hadoop2,hadoop3，為保證三臺虛擬機器能夠正常通訊，三臺虛擬機器的網路連線方式均設定為僅主機（Host-only）介面卡模式，每臺虛擬機器分配記憶體為2G，儲存為8G。在VrtualBox中搭建好的虛擬機器叢集如下圖所示：

1.2安裝JDK

1.2.1安裝包準備

由於hadoop是運行於Java之上的，所以安裝hadoop之前必須在系統中安裝JDK，本次選用的JDK版本為JDK1.8。在oracle官網上下載64位JDK1.8安裝檔案jdk-8u151-linux-x64.tar.gz，通過建立本地檔案傳輸將系統中的安裝包上傳到linux系統中，輸入：tar –zxvf jdk-8u151-linux-x64.tar.gz命令對壓縮包進行解壓，完成安裝。

1.2.2配置java環境變數

在linux系統中通過編輯profile檔案設定Java環境變數，具體操作為：

輸入命令：vi/etc/profile，按I鍵進入profile檔案的編輯模式

在profile檔案中加入以下幾行命令：

JAVA_HOME=/apps/jdk1.8.0_151   #jdk的解壓目錄

CLASSPATH=.:＄JAVA_HOME/lib.tools.jar

PATH=＄JAVA_HOME/bin:＄PATH

export JAVA_HOME CLASSPATH PATH

修改好檔案後通過wq命令儲存並退出，再輸入source/etc/profile命令使修改生效。

1.2.3驗證jdk的有效性

輸入java –version命令檢查jdk是否安裝配置成功，如下圖：

證明jdk安裝成功

1.3安裝hadoop

1.3.1建立ip與域名的對映

為方面後續的相關工作，為每一臺虛擬機器分配一個靜態ip並建立起域名對映。通過編輯/etc/sysconfig/network-scripts/ifcfg-enp0s3檔案，輸入以下引數進行靜態ip配置：

其中的IPADDR即為分配給該主機的靜態IP。本次分配給三臺虛擬主機的的靜態IP分別為：192.168.56.2；192.168.56.3；192.168.56.4.

通過編輯etc/hosts檔案建立主機名與域名的對映，本次將三臺虛擬主機的域名分別設定為nmnode,ddnode1,ddnode2,如下圖：

1.3.2配置ssh免密登入

為方便三臺虛擬主機之間的通訊，減少輸入密碼的次數，為三臺主機配置ssh免密登入。

輸入ssh-keygen -t rsa命令在本臺主機生成金鑰，再通過ssh copy-id [email protected]主機域名命令實現將金鑰拷貝到另一臺主機中，實現該主機免密登入本主機。在每臺主機生成金鑰再將其分發早三臺主機之中，實現三臺主機之間的免密登入

1.3.3hadoop安裝包準備

在apache官網下載hadoop2.6.5安裝包hadoop-2.6.5.tar.gz，上傳到linux系統後，通過tar命令解壓到相應的目錄，得到的安裝目錄結構如下圖所示：

1.3.4修改主要配置檔案

主要配置hadoop-2.6.5/etc/hadoop資料夾下的hadoop-env.sh,yarn-env.sh，core-site.xml, hdfs-site.xml, yarn-site.xml,slaves檔案。

①   修改hadoop-env.sh,yarn-env.sh的jdk路徑

在兩個shell檔案中修改匯入jdk路徑的命令，由相對路徑改為絕對路徑：

export JAVA_HOME=/apps/jdk1.8.0_151

②   core-site.xml

該配置檔案包含hadoop的一些核心基本配置，本次主要配置了兩個屬性：

1. <property>

2. <name>fs.defaultFS</name>

3. <value>hdfs://nmnode:9000</value>#預設的檔案系統為hdfs,入口為nmnode的9000埠

4. </property>

5. <property>

6. <name>hadoop.tmp.dir</name>

7. <value>/apps/hadoop2.6/tmp</value>#設定hadoop臨時快取資料夾

8. </property>

③   hdfs-site.xml

         該配置檔案主要包含hadoop的分散式檔案系統hdfs的一些基本資訊，本次主要配置了一個屬性：

1. <property>

2. <name>dfs.replication</name>

3. <value>1</value>#檔案的備份數為1

4. </property>

④   yarn-site.xml

該配置檔案主要包含hadoop分散式計算框架yarn的一些基本資訊，本次主要配置如下：

1. <property>

2. <name>yarn.nodemanager.aux-services</name>

3. <value>mapreduce_shuffle</value>

4. </property>

5. <property> <name>yarn.resourcemanager.webapp.address</name> <value>${yarn.resourcemanager.hostname}:8088</value>

6. </property>

⑤   Slaves

Hadoop通過slave檔案確定namenode和datanode,本次將三臺虛擬機器中的hadoop1作為namenode，hadoop2,hadoop3作為datanode，在salve檔案中填入兩臺datanode的域名ddnode1和ddnode2。

1.3.5啟動hadoop

Hadoop配置完畢後，通過scp命令將各配置檔案複製到其他主機上，替換原來的檔案保證各主機配置相同，此時在namenode節點中通過執行hadoop-2.6.5/sbin資料夾中的start-dfs.sh檔案啟動hadoop的分散式檔案系統hdfs；再執行該資料夾下的start-yarn.sh啟動分散式計算框架yarn。啟動完成後，在各主機通過jps命令檢視hadoop執行狀態如下圖：

Namenode

Datanode1

Datanode2

基於虛擬機器的hadoop叢集就此搭建成功