前言

本文搭建了一個由三節點（master、slave1、slave2）構成的Hadoop完全分散式叢集（區別單節點偽分散式叢集），並通過Hadoop分散式計算的一個示例測試叢集的正確性。

本文叢集三個節點基於三臺虛擬機器進行搭建，節點安裝的作業系統為Centos7（yum源），Hadoop版本選取為2.8.0。作者也是初次搭建Hadoop叢集，其間遇到了很多問題，故希望通過該部落格讓讀者避免。

實驗過程

1、基礎叢集的搭建

目的：獲得一個可以互相通訊的三節點叢集

下載並安裝VMware WorkStation Pro（支援快照，方便對叢集進行儲存）下載地址，產品啟用序列號網上自行查詢。

下載CentOS7映象，

使用VMware安裝master節點（稍後其他兩個節點可以通過複製master節點的虛擬機器檔案建立）。

三個節點儲存均為30G預設安裝，master節點記憶體大小為2GB，雙核，slave節點記憶體大小1GB，單核

2、叢集網路配置

目的：為了使得叢集既能互相之間進行通訊，又能夠進行外網通訊，需要為節點新增兩張網絡卡（可以在虛擬機器啟動的時候另外新增一張網絡卡，即網路介面卡，也可以在節點建立之後，在VMware設定中新增）。

兩張網絡卡上網方式均採用橋接模式，外網IP設定為自動獲取（通過此網絡卡進行外網訪問，配置應該按照你當前主機的上網方式進行合理配置，如果不與主機通訊的話可以採用NAT上網方式，這樣選取預設配置就行），內網IP設定為靜態IP。

本文中的叢集網路環境配置如下:

master內網IP：192.168.1.100

slave1內網IP：192.168.1.101

slave2內網IP：192.168.1.102

設定完後，可以通過ping進行網路測試

注意事項：通過虛擬機器檔案複製，在VMware改名快速建立slave1和slave2後，可能會產生網絡卡MAC地址重複的問題，需要在VMware網絡卡設定中重新生成MAC，在虛擬機器複製後需要更改內網網絡卡的IP。

每次虛擬機器重啟後，網絡卡可能沒有自動啟動，需要手動重新連線。

 3、叢集SSH免密登陸設定

目的：建立一個可以ssh免密登陸的叢集

3.1　　建立hadoop使用者

為三個節點分別建立相同的使用者hadoop，並在以後的操作均在此使用者下操作，操作如下：

$su -

#useradd -m hadoop

#passwd hadoop

為hadoop新增sudo許可權

#visudo

在該行root ALL=(ALL) ALL下新增hadoop ALL=(ALL) ALL儲存後退出，並切換回hadoop使用者

#su hadoop

注意事項：三個節點的使用者名稱必須相同，不然以後會對後面ssh及hadoop叢集搭建產生巨大影響

3.2　　hosts檔案設定

為了不直接使用IP，可以通過設定hosts檔案達到ssh  slave1這樣的的效果（三個節點設定相同）

$sudo vim /etc/hosts

在檔案尾部新增如下行，儲存後退出：

192.168.1.100　　master

192.168.1.101　　slave1

192.168.1.102　　slave2

注意事項：不要在127.0.0.1後面新增主機名，如果加了master，會造成後面hadoop的一個很坑的問題，在slave節點應該解析出masterIP的時候解析出127.0.0.1，造成hadoop搭建完全正確，但是系統顯示可用節點一直為0。

3.3　　hostname修改

centos7預設的hostname是localhost，為了方便將每個節點hostname分別修改為master、slave1、slave2（以下以master節點為例）。

$sudo hostnamectl set-hostname master

重啟terminal，然後檢視：$hostname

3.3　　ssh設定

設定master節點和兩個slave節點之間的雙向ssh免密通訊，下面以master節點ssh免密登陸slave節點設定為例，進行ssh設定介紹（以下操作均在master機器上操作）：

首先生成master的rsa金鑰：$ssh-keygen -t rsa 

設定全部採用預設值進行回車

將生成的rsa追加寫入授權檔案：$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

給授權檔案許可權：$chmod 600  ~/.ssh/authorized_keys

進行本機ssh測試：$ssh maste r正常免密登陸後所有的ssh第一次都需要密碼，此後都不需要密碼

將master上的authorized_keys傳到slave1

sudo scp ~/.ssh/id_rsa.pub [email protected]:~/   

登陸到slave1操作：$ssh slave1輸入密碼登陸  

$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

修改authorized_keys許可權：$chmod 600  ~/.ssh/authorized_keys

退出slave1：$exit

進行免密ssh登陸測試：$ssh slave1

4、java安裝

目的：hadoop是基於Java的，所以要安裝配置Java環境（三個節點均需要操作，以下以master節點為例）

下載並安裝：$sudo yum install java-1.8.0-openjdk  java-1.8.0-openjdk-devel

驗證是否安裝完成：$java -version

配置環境變數，修改~/.bashrc檔案，新增行： export JAVA_HOME=/usr/lib/jvm/java-1.8.0

使環境變數生效：$source ~/.bashrc

5、Hadoop安裝配置

目的：獲得正確配置的完全分散式Hadoop叢集（以下操作均在master主機下操作）

安裝前三臺節點都需要需要關閉防火牆和selinux

$sudo systemctl stop firewalld.service

$sudo systemctl disable firewalld.service

$sudo vim /usr/sbin/sestatus 

將SELinux status引數設定為關閉狀態

SELinux status:                 disabled

5.1　　Hadoop安裝

 首先在master節點進行hadoop安裝配置，之後使用scp傳到slave1和slave2。

下載Hadoop二進位制原始碼至master，下載地址，並將其解壓在~/ 主目錄下

$tar -zxvf ~/hadoop-2.8.1.tar.gz -C ~/

$mv ~/hadoop-2.8.1/* ~/hadoop/

注意事項：hadoop有32位和64位之分，官網預設二進位制安裝檔案是32位的，但是本文作業系統是64位，會在後面hadoop叢集使用中產生一個warning但是不影響正常操作。

5.2　　Hadoop的master節點配置

配置hadoop的配置檔案core-site.xml　　hdfs-site.xml　　mapred-site.xml　　yarn-site.xml　　slaves（都在~/hadoop/etc/hadoop資料夾下）

$cd ~/hadoop/etc/hadoop

$vim core-site.xml其他檔案相同，以下為配置檔案內容：

1.core-site.xml　　

<configuration>
　　<property>
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://master:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp</value>
　　</property>
</configuration>

2.hdfs-site.xml　

<configuration>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>2</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.secondary.http-address</name>
　　　　<value>master:9001</value>
　　</property>
</configuration>

3.mapred-site.xml　　

<configuration>
　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>
</configuration>

4.yarn-site.xml

<configuration>
　　<property>
　　　　<name>yarn.resourcemanager.hostname</name>
　　　　<value>master</value>
　　</property>
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
　　<property>
　　　　<name>yarn.log-aggregation-enable</name>
　　　　<value>true</value>
　　</property>
　　<property>
　　　　<name>yarn.log-aggregation.retain-seconds</name>
　　　　<value>604800</value>
　　</property>
</configuration>

5.slaves

slave1
slave2

5.3　　Hadoop的其他節點配置

此步驟的所有操作仍然是在master節點上操作，以master節點在slave1節點上配置為例

複製hadoop檔案至slave1：$scp -r ~/hadoop [email protected]:~/

5.4　　Hadoop環境變數配置

配置環境變數，修改~/.bashrc檔案，新增行（每個節點都需要此步操作，以master節點為例）：

#hadoop environment vars
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使環境變數生效：$source ~/.bashrc

6、Hadoop啟動

格式化namenode：$hadoop namenode -format

啟動hadoop：$start-all.sh

master節點檢視啟動情況：$jps

slave1節點檢視啟動情況：$jps

slave2節點檢視啟動情況：$jps

Web瀏覽器輸入127.0.0.1:50070，檢視管理介面

7、Hadoop叢集測試

目的：驗證當前hadoop叢集正確安裝配置

本次測試用例為利用MapReduce實現wordcount程式

生成檔案testWordCount：$echo "My name is Xie PengCheng. This is a example program called WordCount, run by Xie PengCheng " >> testWordCount

建立hadoop資料夾wordCountInput：$hadoop fs -mkdir /wordCountInput

將檔案testWordCount上傳至wordCountInput資料夾：$hadoop fs -put testWordCount /wordCountInput

執行wordcount程式，並將結果放入wordCountOutput資料夾：$hadoop jar ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /wordCountInput /wordCountOutput

注意事項：/wordCountOutput資料夾必須是沒有建立過的資料夾

檢視生成資料夾下的檔案：$hadoop fs -ls /wordCountOutput

在output/part-r-00000可以看到程式執行結果：$hadoop fs -cat /wordCountOutpart-r-00000

嗯嗯，作者就叫謝鵬程。