Hadoop的HA環境搭建
阿新 • • 發佈：2018-09-20
resource 執行 事務隔離級別 hdf dfa def rop proxy 不可重復讀 一、集群的規劃
Zookeeper集群：
192.168.176.131 （bigdata112）
192.168.176.132 （bigdata113）
192.168.176.135 （bigdata114）
Hadoop集群：
192.168.176.131 （bigdata112） NameNode1 ResourceManager1 Journalnode
192.168.176.132 （bigdata113） NameNode2 ResourceManager2 Journalnode
192.168.176.135 （bigdata114） DataNode1 NodeManager1
二、準備工作
1、安裝JDK
2、配置環境變量
3、配置免密碼登錄
4、配置主機名
三、配置Zookeeper（在192.168.176.131安裝）
在主節點（bigdata112）上配置ZooKeeper
（*）配置/training/zookeeper-3.4.6/conf/zoo.cfg文件
dataDir=/training/zookeeper-3.4.6/tmp server.1=bigdata112:2888:3888 server.2=bigdata113:2888:3888 server.3=bigdata114:2888:3888
（*）在/training/zookeeper-3.4.6/tmp目錄下創建一個myid的空文件echo 1 > /training/zookeeper-3.4.6/tmp/myid
（*）將配置好的zookeeper拷貝到其他節點，同時修改各自的myid文件
scp -r /training/zookeeper-3.4.6/ bigdata113:/training
scp -r /training/zookeeper-3.4.6/ bigdata114:/training（*）分別修改113和114上/training/zookeeper-3.4.6/tmp/myid為2和3
四、安裝Hadoop集群（在bigdata112上安裝）
1、修改hadoo-env.shexport JAVA_HOME=/training/jdk1.8.0_144
2、修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice為ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop臨時目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/training/hadoop-2.7.3/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
</property>
</configuration>3、修改hdfs-site.xml（配置這個nameservice中有幾個namenode）
<configuration>
<!--指定hdfs的nameservice為ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有兩個NameNode，分別是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>bigdata112:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>bigdata112:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>bigdata113:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>bigdata113:50070</value>
</property>
<!-- 指定NameNode的日誌在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://bigdata112:8485;bigdata113:8485;/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盤存放數據的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/training/hadoop-2.7.3/journal</value>
</property>
<!-- 開啟NameNode失敗自動切換 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失敗自動切換實現方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔離機制時需要ssh免登陸 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔離機制超時時間 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>4、修改mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>5、修改yarn-site.xml
<configuration>
<!-- 開啟RM高可靠 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分別指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>bigdata112</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>bigdata113</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>6、修改slaves
bigdata14
bigdata157、將配置好的hadoop拷貝到其他節點
scp -r /training/hadoop-2.7.3/ root@bigdata113:/training/
scp -r /training/hadoop-2.7.3/ root@bigdata114:/training/
scp -r /training/hadoop-2.7.3/ root@bigdata115:/training/五、啟動Zookeeper集群
進到zk的安裝目錄的bin目錄下：
啟動
./zkServer.sh start
查看狀態
./zkServer.sh status六、在bigdata112和bigdata113上啟動journalnode
hadoop-daemon.sh start journalnode
七、格式化HDFS（在bigdata112上執行）
- 格式化HDFS
hdfs namenode -format
2.將112上這臺的/training/hadoop-2.7.3/tmp/dfs拷貝到bigdata13的/training/hadoop-2.7.3/tmp/dfs下
scp -r /training/hadoop-2.7.3/tmp/dfs/* root@bigdata113:/training/hadoop-2.7.3/tmp/dfs/3.格式化zookeeper
hdfs zkfc -formatZK日誌：
17/07/13 00:34:33 INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/ns1 in ZK.八、在bigdata12上啟動Hadoop集群
start-all.sh
日誌：
Starting namenodes on [bigdata12 bigdata13]
bigdata12: starting namenode, logging to /root/training/hadoop-2.4.1/logs/hadoop-root-namenode-hadoop113.out
bigdata13: starting namenode, logging to /root/training/hadoop-2.4.1/logs/hadoop-root-namenode-hadoop112.out
bigdata14: starting datanode, logging to /root/training/hadoop-2.4.1/logs/hadoop-root-datanode-hadoop115.out
bigdata15: starting datanode, logging to /root/training/hadoop-2.4.1/logs/hadoop-root-datanode-hadoop114.out
bigdata13: starting zkfc, logging to /root/training/hadoop-2.7.3/logs/hadoop-root-zkfc-bigdata13.out
bigdata12: starting zkfc, logging to /root/training/hadoop-2.7.3/logs/hadoop-root-zkfc-bigdata12.out
bigdata113上的ResourceManager需要單獨啟動 命令：yarn-daemon.sh start resourcemanager九、問題延伸
1、隔離機制和隔離級別
（*）關系型數據庫：如果不考慮事務隔離級別，造成臟讀、不可重復讀、幻讀
（*）HDFS的HA：如果不考慮隔離機制（隔離級別），造成腦裂的問題
2、什麽是腦裂的問題？
腦裂的問題，針對的是數據節點（DataNode）
由於某種原因，造成了整個HDFS中存在多個active的NameDode，這時候DataNode就不知道誰是真正的NameNode。Hadoop的HA環境搭建