【大資料】Hadoop的高可用HA
第1章 HA高可用
1.1 HA概述
1）所謂HA（high available），即高可用（7*24小時不中斷服務）。
2）實現高可用最關鍵的策略是消除單點故障（single point of failure，SPOF）。單點故障是一個元件發生故障，就會導致整個系統無法執行。HA嚴格來說應該分成各個元件的HA機制：HDFS的HA和YARN的HA。
3）Hadoop2.0之前，在HDFS叢集中NameNode存在單點故障。
4）NameNode主要在以下兩個方面影響HDFS叢集
NameNode機器發生意外，如宕機，叢集將無法使用，直到管理員重啟
NameNode機器需要升級，包括軟體、硬體升級，此時叢集也將無法使用
HDFS HA功能通過配置Active/Standby兩個nameNodes實現在叢集中對NameNode的熱備來解決上述問題。如果出現故障，如機器崩潰或機器需要升級維護，這時可通過此種方式將NameNode很快的切換到另外一臺機器。
1.2 工作機制
配置兩個namenode，通過雙namenode消除單點故障。
1.3 HDFS-HA手動故障轉移
1.3.1 工作要點
1）元資料管理方式需要改變：
記憶體中各自儲存一份元資料；
Edits日誌只有Active狀態的namenode節點可以做寫操作；
兩個namenode都可以讀取edits；
共享的edits放在一個共享儲存中管理（
2）必須保證兩個NameNode之間能夠ssh無密碼登入。
3）隔離（Fence），即同一時刻僅僅有一個NameNode對外提供服務，防止腦裂（split-brain）
1.3.2 環境準備
1）修改IP
2）修改主機名及主機名和IP地址的對映
3）關閉防火牆
4）ssh免密登入
5）安裝JDK，配置環境變數等
1.3.3 規劃叢集
|
|
hadoop102 |
hadoop103 |
hadoop104 |
| HDFS
|
NameNode DataNode JournalNode |
NameNode DataNode JournalNode |
DataNode JournalNode |
| YARN |
NodeManager |
ResourceManager NodeManager |
NodeManager |
1.3.4 配置HDFS-HA叢集
1）官方地址：http://hadoop.apache.org/
2）在/opt/module/目錄下建立一個HA資料夾
mkdir HA
3）將/opt/module/下的 hadoop-2.7.2拷貝到/opt/module/HA目錄下
[[email protected] module]$ cp -r hadoop-2.7.2/ /opt/module/HA/
4）配置hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
5）配置core-site.xml
<configuration>
<!-- 把兩個NameNode的地址組裝成一個叢集mycluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 宣告journalnode服務本地檔案系統儲存目錄-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/module/HA/hadoop-2.7.2/data/jn</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/HA/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
6）配置hdfs-site.xml
<configuration>
<!-- 完全分散式叢集名稱 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 該nameservice下NameNode節點都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通訊地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop102:8020</value>
</property>
<!-- nn2的RPC通訊地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop103:8020</value>
</property>
<!-- nn1的http通訊地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop102:50070</value>
</property>
<!-- nn2的http通訊地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop103:50070</value>
</property>
<!-- 指定NameNode元資料在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property>
<!-- 配置隔離機制，即同一時刻只能有一臺伺服器對外響應 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔離機制時需要ssh無祕鑰登入-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/atguigu/.ssh/id_rsa</value>
</property>
<!-- 關閉許可權檢查-->
<property>
<name>dfs.permissions.enable</name>
<value>false</value>
</property>
<!-- 客戶端訪問代理類：客戶端通過該類判斷哪個namenode是active -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
</configuration>
7）拷貝配置好的hadoop環境到其他節點
1.3.5 啟動HDFS-HA叢集
1）在各個JournalNode節點上，輸入以下命令啟動journalnode服務：
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start journalnode
2）在[nn1]上，對其進行格式化，並啟動：
[[email protected] hadoop-2.7.2]$ bin/hdfs namenode -format
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
3）在[nn2]上，同步nn1的元資料資訊：
[[email protected] hadoop-2.7.2]$ bin/hdfs namenode -bootstrapStandby
4）啟動[nn2]：
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
5）檢視web頁面顯示
6）在[nn1]上，啟動所有datanode
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemons.sh start datanode
7）將[nn1]切換為Active
[[email protected] hadoop-2.7.2]$ bin/hdfs haadmin -transitionToActive nn1
8）檢視是否Active
[[email protected] hadoop-2.7.2]$ bin/hdfs haadmin -getServiceState nn1
1.4 HDFS-HA自動故障轉移
1.4.1工作要點
前面學習了使用命令hdfs haadmin -failover手動進行故障轉移，在該模式下，即使現役NameNode已經失效，系統也不會自動從現役NameNode轉移到待機NameNode，下面學習如何配置部署HA自動進行故障轉移。
自動故障轉移為HDFS部署增加了兩個新元件：ZooKeeper和ZKFailoverController（ZKFC）程序。ZooKeeper是維護少量協調資料，通知客戶端這些資料的改變和監視客戶端故障的高可用服務。
HA的自動故障轉移依賴於ZooKeeper的以下功能：
1）故障檢測：叢集中的每個NameNode在ZooKeeper中維護了一個持久會話，如果機器崩潰，ZooKeeper中的會話將終止，ZooKeeper通知另一個NameNode需要觸發故障轉移。
2）現役NameNode選擇：ZooKeeper提供了一個簡單的機制用於唯一的選擇一個節點為active狀態。如果目前現役NameNode崩潰，另一個節點可能從ZooKeeper獲得特殊的排外鎖以表明它應該成為現役NameNode。
ZKFC是自動故障轉移中的另一個新元件，是ZooKeeper的客戶端，也監視和管理NameNode的狀態。每個執行NameNode的主機也運行了一個ZKFC程序，ZKFC負責：
1）健康監測：ZKFC使用一個健康檢查命令定期地ping與之在相同主機的NameNode，只要該NameNode及時地回覆健康狀態，ZKFC認為該節點是健康的。如果該節點崩潰，凍結或進入不健康狀態，健康監測器標識該節點為非健康的。
2）ZooKeeper會話管理：當本地NameNode是健康的，ZKFC保持一個在ZooKeeper中開啟的會話。如果本地NameNode處於active狀態，ZKFC也保持一個特殊的znode鎖，該鎖使用了ZooKeeper對短暫節點的支援，如果會話終止，鎖節點將自動刪除。
3）基於ZooKeeper的選擇：如果本地NameNode是健康的，且ZKFC發現沒有其它的節點當前持有znode鎖，它將為自己獲取該鎖。如果成功，則它已經贏得了選擇，並負責執行故障轉移程序以使它的本地NameNode為active。故障轉移程序與前面描述的手動故障轉移相似，首先如果必要保護之前的現役NameNode，然後本地NameNode轉換為active狀態。
1.4.2 規劃叢集
|
|
hadoop102 |
hadoop103 |
hadoop104 |
| HDFS
|
NameNode DataNode JournalNode ZKFC |
NameNode DataNode JournalNode ZKFC |
DataNode JournalNode |
| YARN |
NodeManager |
ResourceManager NodeManager |
NodeManager |
| Zookeeper |
Zookeeper |
Zookeeper |
Zookeeper |
1.4.3 配置Zookeeper叢集
0）叢集規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
1）解壓安裝
（1）解壓zookeeper安裝包到/opt/module/目錄下
[[email protected] software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）在/opt/module/zookeeper-3.4.10/這個目錄下建立zkData
[[email protected] zookeeper-3.4.10]$ mkdir -p zkData
（3）重新命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg為zoo.cfg
[[email protected] conf]$ mv zoo_sample.cfg zoo.cfg
2）配置zoo.cfg檔案
（1）具體配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（2）配置引數解讀
Server.A=B:C:D。
A是一個數字，表示這個是第幾號伺服器；
B是這個伺服器的ip地址；
C是這個伺服器與叢集中的Leader伺服器交換資訊的埠；
D是萬一叢集中的Leader伺服器掛了，需要一個埠來重新進行選舉，選出一個新的Leader，而這個埠就是用來執行選舉時伺服器相互通訊的埠。
叢集模式下配置一個檔案myid，這個檔案在dataDir目錄下，這個檔案裡面有一個數據就是A的值，Zookeeper啟動時讀取此檔案，拿到裡面的資料與zoo.cfg裡面的配置資訊比較從而判斷到底是哪個server。
3）叢集操作
（1）在/opt/module/zookeeper-3.4.10/zkData目錄下建立一個myid的檔案
[[email protected] zkData]$ touch myid
新增myid檔案，注意一定要在linux裡面建立，在notepad++裡面很可能亂碼
（2）編輯myid檔案
[[email protected] zkData]$ vi myid
在檔案中新增與server對應的編號：如2
（3）拷貝配置好的zookeeper到其他機器上
[[email protected] zkData]$ scp -r zookeeper-3.4.10/ hadoop103:/opt/module/
[[email protected] zkData]$ scp -r zookeeper-3.4.10/ hadoop104:/opt/module/
並分別修改myid檔案中內容為3、4
（4）分別啟動zookeeper
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh start
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh start
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh start
（5）檢視狀態
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
1.4.4 配置HDFS-HA自動故障轉移
1）具體配置
（1）在hdfs-site.xml中增加
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
（2）在core-site.xml檔案中增加
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
注意：記得分發配置檔案
2）啟動
（1）關閉所有HDFS服務：
[[email protected] hadoop-2.7.2]$ sbin/stop-dfs.sh
（2）啟動Zookeeper叢集：
[[email protected] hadoop-2.7.2]$ bin/zkServer.sh start
（3）初始化HA在Zookeeper中狀態：
[[email protected] hadoop-2.7.2]$ bin/hdfs zkfc -formatZK
（4）啟動HDFS服務：
[[email protected] hadoop-2.7.2]$ sbin/start-dfs.sh
（5）在各個NameNode節點上啟動DFSZK Failover Controller，先在哪臺機器啟動，哪個機器的NameNode就是Active NameNode
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start zkfc
說明：如果使用start-dfs.sh啟動叢集，不需要單獨啟動zkfc
3）驗證:將Active NameNode程序kill
[[email protected] hadoop-2.7.2]$ kill -9 namenode的程序id
1.5 YARN-HA配置
1.5.1 YARN-HA工作機制
1）官方文件：
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
2）YARN-HA工作機制
1.5.2 配置YARN-HA叢集
0）環境準備
（1）修改IP
（2）修改主機名及主機名和IP地址的對映
（3）關閉防火牆
（4）ssh免密登入
（5）安裝JDK，配置環境變數等
（6）配置Zookeeper叢集
1）規劃叢集
|
|
hadoop102 |
hadoop103 |
hadoop104 |
| HDFS
|
NameNode DataNode JournalNode ZKFC |
NameNode DataNode JournalNode ZKFC |
DataNode JournalNode |
| YARN
|
ResourceManager NodeManager |
ResourceManager NodeManager |
NodeManager |
| Zookeeper |
Zookeeper |
Zookeeper |
Zookeeper |
2）具體配置
（1）yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--啟用resourcemanager ha-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--宣告兩臺resourcemanager的地址-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster-yarn1</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop102</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop103</value>
</property>
<!--指定zookeeper叢集的地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
<!--啟用自動恢復-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!--指定resourcemanager的狀態資訊儲存在zookeeper叢集-->
<property>
<name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>
（2）同步更新其他節點的配置資訊
3）啟動hdfs
（1）在各個JournalNode節點上，輸入以下命令啟動journalnode服務：
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start journalnode
（2）在[nn1]上，對其進行格式化，並啟動：
[[email protected] hadoop-2.7.2]$ bin/hdfs namenode -format
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
（3）在[nn2]上，同步nn1的元資料資訊：
[[email protected] hadoop-2.7.2]$ bin/hdfs namenode -bootstrapStandby
（4）啟動[nn2]：
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
（5）啟動所有datanode
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemons.sh start datanode
（6）將[nn1]切換為Active
[[email protected] hadoop-2.7.2]$ bin/hdfs haadmin -transitionToActive nn1
4）啟動yarn
（1）在hadoop102中執行：
[[email protected] hadoop-2.7.2]$ sbin/start-yarn.sh
（2）在hadoop103中執行：
[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
（3）檢視服務狀態
[[email protected] hadoop-2.7.2]$ bin/yarn rmadmin -getServiceState rm1
1.6 HDFS Federation架構設計
1） NameNode架構的侷限性
（1）Namespace（命名空間）的限制
由於NameNode在記憶體中儲存所有的元資料（metadata），因此單個namenode所能儲存的物件（檔案+塊）數目受到namenode所在JVM的heap size的限制。50G的heap能夠儲存20億（200million）個物件，這20億個物件支援4000個datanode，12PB的儲存（假設檔案平均大小為40MB）。隨著資料的飛速增長，儲存的需求也隨之增長。單個datanode從4T增長到36T，叢集的尺寸增長到8000個datanode。儲存的需求從12PB增長到大於100PB。
（2）隔離問題
由於HDFS僅有一個namenode，無法隔離各個程式，因此HDFS上的一個實驗程式就很有可能影響整個HDFS上執行的程式。
（3）效能的瓶頸
由於是單個namenode的HDFS架構，因此整個HDFS檔案系統的吞吐量受限於單個namenode的吞吐量。
2）HDFS Federation架構設計
能不能有多個NameNode
NameNode NameNode NameNode
元資料 元資料 元資料
Log machine 電商資料/話單資料
3）HDFS Federation應用思考
不同應用可以使用不同NameNode進行資料管理
圖片業務、爬蟲業務、日誌審計業務
Hadoop生態系統中，不同的框架使用不同的namenode進行管理namespace。（隔離性）