3臺虛擬機器搭建Hadoop HA
阿新 • • 發佈：2019-01-11
1.修改Linux主機名
2.修改IP
3.修改主機名和IP的對映關係
4.關閉防火牆
5.ssh免登陸
6.安裝JDK，配置環境變數等
叢集規劃：
主機名 IP 安裝的軟體 執行的程序
3臺虛擬機器
node1 jdk、hadoop、zookeeper zookeeper journalnode namenode zkfc resourcemanager datanode nodemanager
node2 jdk、hadoop、zookeeper zookeeper journalnode namenode zkfc resourcemanager datanode nodemanager
node3 jdk、hadoop、zookeeper zookeeper journalnode datanode nodemanager
說明：
1.在hadoop2.0中通常由兩個NameNode組成，一個處於active狀態，另一個處於standby狀態。Active NameNode對外提供服務，而Standby NameNode則不對外提供服務，僅同步active namenode的狀態，以便能夠在它失敗時快速進行切換。
hadoop2.0官方提供了兩種HDFS HA的解決方案，一種是NFS，另一種是QJM。這裡我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元資料資訊，一條資料只要成功寫入多數JournalNode即認為寫入成功。通常配置奇數個JournalNode
這裡還配置了一個zookeeper叢集，用於ZKFC（DFSZKFailoverController）故障轉移，當Active NameNode掛掉了，會自動切換Standby NameNode為standby狀態
2.hadoop-2.2.0中依然存在一個問題，就是ResourceManager只有一個，存在單點故障，hadoop-2.4.1解決了這個問題，有兩個ResourceManager，一個是Active，一個是Standby，狀態由zookeeper進行協調
安裝步驟：
1.安裝配置zooekeeper叢集（在demo1上）
1.1解壓
tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local
1.2修改配置
cd /usr/local/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/usr/local/zookeeper-3.4.5/tmp
在最後新增：
server.1=demo:2888:3888
server.2=demo2:2888:3888
server.3=demo3:2888:3888
儲存退出
然後建立一個tmp資料夾
mkdir /usr/local/zookeeper-3.4.5/tmp
再建立一個空檔案
touch /usr/local/zookeeper-3.4.5/tmp/myid
最後向該檔案寫入ID
echo 1 > /usr/local/zookeeper-3.4.5/tmp/myid
1.3將配置好的zookeeper拷貝到其他節點
scp -r /usr/local/zookeeper-3.4.5/ demo2:/usr/local/
scp -r /usr/local/zookeeper-3.4.5/ demo3:/usr/local/
注意：修改weekend06、weekend07對應/weekend/zookeeper-3.4.5/tmp/myid內容
weekend06：
echo 2 > /usr/local/zookeeper-3.4.5/tmp/myid
weekend07：
echo 3 > /usr/local/zookeeper-3.4.5/tmp/myid
2.安裝配置hadoop叢集（在weekend01上操作）
2.1解壓
tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/
2.2配置HDFS（hadoop2.X所有的配置檔案都在$HADOOP_HOME/etc/hadoop目錄下）
#將hadoop新增到環境變數中
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_141
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinll
#hadoop2.x的配置檔案全部在$HADOOP_HOME/etc/hadoop下
cd /usr/local/hadoop-2.7.3/etc/hadoop
2.2.1修改hadoo-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_141
2.2.2修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice為mycluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop臨時目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/dfs</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>dome1:2181,dome2:2181,dome3:2181</value>
</property>
</configuration>
2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice為mycluster，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- mycluster下面有兩個NameNode，分別是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通訊地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>dome1:9000</value>
</property>
<!-- nn1的http通訊地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>dome1:50070</value>
</property>
<!-- nn2的RPC通訊地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>dome2:9000</value>
</property>
<!-- nn2的http通訊地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>dome2:50070</value>
</property>
<!-- 指定NameNode的元資料在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://dome1:8485;dome2:8485;dome3:8485/mycluster</value>
</property>
<!-- 指定JournalNode在本地磁碟存放資料的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/journaldata</value>
</property>
<!-- 開啟NameNode失敗自動切換 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失敗自動切換實現方式 -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔離機制時需要ssh免登陸 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔離機制超時時間 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
2.2.4修改mapred-site.xml
<configuration>
<!-- 指定mr框架為yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.2.5修改yarn-site.xml
<configuration>
<!-- 開啟RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>zlf</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分別指定RM的地址 -->sl ` SL
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>dome1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>dome2</value>
</property>
<!-- 指定zk叢集地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>dome1:2181,dome2:2181,dome3:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2.2.6修改slaves
demo1
demo2
demo3
2.2.7配置免密碼登陸
#首先要配置demo1到demo1、demo2、demo3的免密碼登陸
#配置demo2到demo1、demo2、demo3的免密碼登陸
2.4將配置好的hadoop拷貝到其他節點
scp -r /usr/local/hadoop [email protected]:/usr/local/
scp -r /usr/local/hadoop [email protected]:/usr/local/
###注意：嚴格按照下面的步驟
2.5啟動zookeeper叢集（分別在demo1,demo2,demo3上啟動zk）
cd /usr/local/zookeeper-3.4.6/bin/
./zkServer.sh start
#檢視狀態：一個leader，兩個follower
./zkServer.sh status
2.6啟動journalnode（分別在在demo1,demo2,demo3上執行）
cd /usr/local/hadoop-2.7.3
sbin/hadoop-daemon.sh start journalnode
#執行jps命令檢驗，demo1,demo2.demo3上多了JournalNode程序
2.7格式化HDFS
#在demo1上執行命令:
hdfs namenode -format
#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個檔案，這裡我配置的是/usr/local/hadoop-2.7.3/dfs，然後將/usr/local/hadoop-2.7.3/dfs拷貝到demo2的/usr/local/hadoop-2.7.3/下。
scp -r dfs/ dome2:/usr/local/hadoop/
2.8格式化ZKFC(在demo1上執行即可)
hdfs zkfc -formatZK
2.9啟動HDFS(在demo1上執行)
sbin/start-dfs.sh
2.10啟動YARN(#####注意#####：在demo1上執行start-yarn.sh，並且手動在demo2上執行yarn-demon.sh start resourcemanager
sbin/start-yarn.sh
yarn-daemon.sh start resourcemanager(demo2上手動啟動）
yya
到此，hadoop-2.7.3 HA配置完畢，可以統計瀏覽器訪問:
http://demo1:50070
NameNode 'demo1:9000' (active)
http://demo2:50070
NameNode 'demo2:9000' (standby)
驗證HDFS HA
首先向hdfs上傳一個檔案
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然後再kill掉active的NameNode
kill -9 <pid of NN>
通過瀏覽器訪問：http://demo2:50070
NameNode 'demo2:9000' (active)
這個時候weekend02上的NameNode變成了active
在執行命令：
hadoop fs -ls /
剛才上傳的檔案依然存在！！！
手動啟動那個掛掉的NameNode
sbin/hadoop-daemon.sh start namenode
通過瀏覽器訪問：http://demo1:50070
NameNode 'demo1:9000' (standby)
驗證YARN：
執行一下hadoop提供的demo中的WordCount程式：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /profile /out
驗證YARN：HA
開啟http://demo1:8088 頁面可以顯示ResourceManager HA state: active
開啟http://demo2:8080 頁面自動跳轉http://demo1:8088 （window上hosts檔案需配置ip對映關係，否則無法訪問網頁）
kill -9 <demo1上resourcemanger> weekend02上的 http://demo2:8080 頁面可以顯示ResourceManager HA state: active
手動啟動demo1上的resourcemanger http://demo1:8088 頁面上顯示ResourceManager HA state: standby
OK，大功告成！！！
測試叢集工作狀態的一些指令 ：
bin/hdfs dfsadmin -report 檢視hdfs的各節點狀態資訊
bin/hdfs haadmin -getServiceState nn1 獲取一個namenode節點的HA狀態
sbin/hadoop-daemon.sh start namenode 單獨啟動一個namenode程序
./hadoop-daemon.sh start zkfc 單獨啟動一個zkfc程序