機器節點名稱：node1、node2、node3、
Linux：Centos6.9

上傳 Hadoop 的配置

1.使用 hadoop 使用者進入/home/hadoop/apps 目錄下
2.上傳安裝檔案並解壓：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz
3.使用 root 使用者建立軟連線

ln -s /home/hadoop/apps/hadoop-2.6.0-cdh5.7.0 /usr/local/hadoop

4.使用 root使用者修改軟連線主人

chown -R hadoop:hadoop /usr/loacl/hadoop

5.使用 root 使用者配置環境變數檔案/etc/profile

vim /etc/profile
新增內容如下
export ZOOKEEPER_HOME=/usr/local/zookeeper
export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/local/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6.使環境變數生效source /etc/profile

配置 HDFS

1.使用 hadoop 使用者進入 Hadoop 配置檔案路徑

cd /usr/local/hadoop/etc/hadoop

2.修改五個配置檔案
1. hadoop-env.sh 第25行的 JAVA_HOME=/usr/local/jdk1.8.0_151
2. 配置core-site.xml
3. 配置hdfs-site.xml
下面的是配置 YARN
4. 修改yarn-site.xml
5. 修改mapred-site.xml 拷貝模板重新命名
（HA）配置程式碼過多四個檔案下載地址：
https://download.csdn.net/download/qq_1290259791/10308316

3.修改 slaves（$HADOOP_HOME/etc/hadoop下）
設定啟動節點主機名稱，在 slaves 檔案中新增節點的主機名稱

node1
node2
node3

node1、2、3是我自己配置的虛擬機器名稱

4.配置hadoop使用者免密碼登入
在 node1產生鑰匙對
命令ssh-keygen -t rsa回車就可以了
將公鑰拷貝到其他節點，包括本機

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

5.將配置好的 hadoop 拷貝到其他節點

scp -r hadoop-2.6.0-cdh5.7.0  hadoop@node02:/home/hadoop/apps
scp -r hadoop-2.6.0-cdh5.7.0  hadoop@node03:/home/hadoop/apps
scp -r hadoop-2.6.0-cdh5.7.0  hadoop@node04:/home/hadoop/apps

6.在每個節點下分別執行以下操作
1. root 建立軟連線
2. 軟連線易主
3. root 使用者新增環境變數
4. 使環境變數生效

叢集的啟動步驟

1.啟動journalnode（分別在node1、node2、node3上執行啟動）
/usr/local/hadoop/sbin/hadoop-daemon.sh start journalnode
執行 jps 命令檢驗，是不是多 JournalNode 程序

2.格式化 HDFS
在 node1上執行命令hdfs namenode -format
出現以下，就是格式化成功

INFO util.ExitUtil: Exiting with status 0

格式化成功之後會在core-site.xml中的hadoop.tmp.dir指定的路徑下生成dfs資料夾，將該資料夾拷貝到node2（備用 namenode 節點）的相同路徑下

scp -r hdpdata hadoop@node2:/usr/local/hadoop

3.在 node1上執行格式化操作 ZKFC

hdfs zkfc -formatZK

執行成功，日誌輸出如下資訊
INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/ns in ZK

4.node1在$HADOOP_HOME/sbin 目錄下啟動 HDFS

sbin/start-dfs.sh

node1節點下

[hadoop@node1 sbin]$ jps
12899 JournalNode
12628 NameNode
3271 QuorumPeerMain
12731 DataNode
13307 Jps
13039 DFSZKFailoverController

node2節點下

[hadoop@node2 sbin]$ jps
1262 NameNode
8576 DataNode
9075 Jps
8716 DFSZKFailoverController
8653 JournalNode
2350 QuorumPeerMain

node3節點下

[root@node3 ~]# jps
2562 Jps
2503 JournalNode
2409 DataNode
2138 QuorumPeerMain

Web 網頁訪問

http://node1:50070

頁面中有“active”，說明node1節點的namenode處於active態

http://node2:50070

頁面中有“standby”，說明node2節點的namenode處於standby態(備用)

測試 HA

直接kill掉處於active狀態的namenode（node1），測試另一處於standby狀態的namenode(node2)是否能接管HDFS相關服務。

重啟 node1的 namenode

[hadoop@node1 sbin]$ ./hadoop-daemon.sh start namenode
starting namenode, logging to /home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/logs/hadoop-hadoop-namenode-node1.out
[hadoop@node1 sbin]$ 

Hadoop 的 HA 模式成功執行

YARN 的 HA 模式

[[email protected] sbin]$ ./start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/logs/yarn-hadoop-resourcemanager-node1.out
node3: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/logs/yarn-hadoop-nodemanager-node3.out
node2: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/logs/yarn-hadoop-nodemanager-node2.out
node1: starting nodemanager, logging to /home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/logs/yarn-hadoop-nodemanager-node1.out
[[email protected] sbin]$ 

node1節點

[hadoop@node1 sbin]$ jps
14612 ResourceManager
13926 DataNode
14455 NameNode
3271 QuorumPeerMain
14711 NodeManager
15047 Jps
14234 DFSZKFailoverController
14094 JournalNode
[hadoop@node1 sbin]$ 

node2節點

[hadoop@node2 sbin]$ jps
9317 DataNode
9864 Jps
9481 DFSZKFailoverController
9246 NameNode
2350 QuorumPeerMain
9391 JournalNode
9727 NodeManager
[hadoop@node2 sbin]$ 

node3節點

[hadoop@node3 hadoop-2.6.0-cdh5.7.0]$ jps
4934 JournalNode
5048 NodeManager
2059 QuorumPeerMain
4860 DataNode
5183 Jps
[hadoop@node3 hadoop-2.6.0-cdh5.7.0]$ 

單獨啟用 node2的備用 resourcemanager

[hadoop@node2 sbin]$ ./yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/logs/yarn-hadoop-resourcemanager-node2.out
[hadoop@node2 sbin]$ jps
10000 ResourceManager
9317 DataNode
10037 Jps
9481 DFSZKFailoverController
9246 NameNode
2350 QuorumPeerMain
9391 JournalNode
9727 NodeManager
[hadoop@node2 sbin]$ 

Web 網頁訪問

測試 YARN 的 HA

[hadoop@node1 sbin]$ jps
14612 ResourceManager
13926 DataNode
14455 NameNode
3271 QuorumPeerMain
14711 NodeManager
14234 DFSZKFailoverController
14094 JournalNode
15119 Jps
[hadoop@node1 sbin]$ kill 14612

[hadoop@node1 sbin]$ ./yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/logs/yarn-hadoop-resourcemanager-node1.out
[hadoop@node1 sbin]$ jps
15204 ResourceManager
15237 Jps
13926 DataNode
14455 NameNode
3271 QuorumPeerMain
14711 NodeManager
14234 DFSZKFailoverController
14094 JournalNode

遇到的兩個問題
1）a shared edits dir must not be specified if HA is not enabled.
說我沒有開啟高可用方式，但是我開了。

這裡的名字需要保持一致
2）HA按照規劃配置好，啟動後，NameNode不能正常啟動。剛啟動的時候 jps 看到了NameNode，但是隔了一兩分鐘，再看NameNode就不見了。
報錯誤

8485 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

但是測試之後，發現下面2種情況：

1. 先啟動JournalNode，再啟動Hdfs，NameNode可以啟動並可以正常執行
2. 使用start-dfs.sh啟動，眾多服務都啟動了，隔兩分鐘NameNode會退出，再次hadoop-daemon.sh start namenode單獨啟動可以成功穩定執行NameNode。
   解決辦法修改core-site.xml中的ipc引數

<property>
<name>ipc.client.connect.max.retries</name>
<value>100</value>
<description>Indicates the number of retries a client will make to establish
a server connection.
</description>
</property>

問題原因 ：因為先啟動JournalNode或者再次啟動NameNode就可以了，說明JournalNode並沒有準備好，而NameNode已經用完了所有重試次數。
Namenode向JournalNode發起的ipc連線請求的重試次數。