一、Hadoop（HA）叢集的規劃

叢集規劃

主機名	IP	NameNode	DataNode	Yarn	ZooKeeper	JournalNode
liuyazhuang145	192.168.0.145	是	是	否	是	是
liuyazhuang146	192.168.0.146	是	是	否	是	是
liuyazhuang147	192.168.0.147	否	是	是	是	是

二、Hadoop(HA)叢集環境搭建

注：我們搭建環境集中在liuyazhuang145主機上搭建，搭建完畢將相應的檔案拷貝到liuyazhuang146和liuyazhuang147主機。

1、安裝JDK

1.1下載JDK

1.2解壓JDK

在命令列輸入tar -zxvf jdk-7u72-linux-x64.tar.gz 進行解壓

1.3配置環境變數

在命令列輸入vim /etc/profile開啟profile檔案，在檔案末尾新增如下程式碼：

JAVA_HOME=/usr/local/jdk1.7.0_72
CLASS_PATH=.:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASS_PATH PATH

輸入命令source /etc/profile使環境變數生效

1.4拷貝檔案

在命令列輸入如下命令將JDK環境和/etc/profile檔案拷貝到liuyazhuang146和liuyazhuang147主機上。

scp -r /usr/local/jdk1.7.0_72 liuyazhuang146:/usr/local
scp -r /usr/local/jdk1.7.0_72 liuyazhuang147:/usr/local
scp /etc/profile liuyazhuang146:/etc/
scp /etc/profile liuyazhuang147:/etc/

同時，我們分別在liuyazhuang146和liuyazhuang147主機上執行命令source /etc/profile使環境變數生效

至此，JDK環境搭建完成。

2、搭建Zookeeper叢集

2.1下載Zookeeper

2.2解壓Zookeeper

在命令列輸入tar -zxvf zookeeper-3.4.9.tar.gz對zookeeper進行解壓。

2.3Zookeeper叢集搭建

切換到Zookeeper的conf目錄下執行以下命令

cp zoo_sample.cfg zoo.cfg 

然後輸入vim zoo.cfg命令 配置如下：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/zookeeper-3.4.9/data
dataLogDir=/usr/local/zookeeper-3.4.9/datalog
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=liuyazhuang145:2888:3888
server.2=liuyazhuang146:2888:3888
server.3=liuyazhuang147:2888:3888

同時在Zookeeper目錄下新建data和dataLog兩個目錄用來存放Zookeeper的myid檔案和日誌檔案，

mkdir data
mkdir dataLog

將目錄切換到zookeeper的data目錄下

執行命令

vim myid

按下鍵盤i輸入1後，按下esc鍵，再按下shift+; （也就是輸入冒號:），再輸入wq退出，此時就在zookeeper的data目錄下建立了一個myid檔案，這個myid的檔案中的內容為1。

2.4配置Zookeeper環境變數

為操作方便，我們也將Zookeeper配置到環境變數中，加上之前配置的JDK，我們在profile的配置如下：

JAVA_HOME=/usr/local/jdk1.7.0_72
CLASS_PATH=.:$JAVA_HOME/lib
ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.9
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
export JAVA_HOME HADOOP_HOME CLASS_PATH PATH

2.5拷貝檔案

將Zookeeper環境和profile檔案分別拷貝到liuyazhuang146和liuyazhuang147主機上。如下命令：

scp -r /usr/local/zookeeper-3.4.9 liuyazhuang146:/usr/local
scp -r /usr/local/zookeeper-3.4.9 liuyazhuang147:/usr/local
scp  /ect/profile liuyazhuang146:/etc/
scp  /ect/profile liuyazhuang147:/etc/

同時，我們分別在liuyazhuang146和liuyazhuang147主機上執行命令source /etc/profile使環境變數生效。

2.6修改其他主機的myid檔案

注：別忘了將liuyazhuang146主機上Zookeeper中myid檔案內容修改為2  將liuyazhuang147主機上Zookeeper中myid檔案內容修改為3

至此，Zookeeper叢集環境搭建完畢。

3、Hadoop叢集環境搭建

同樣的，我們也是現在liuyazhuang145主機上搭建Hadoop環境，然後將環境拷貝到liuyazhuang146主機和liuyazhuang147主機上。

3.1下載Hadoop

同樣的，我們也是在Apache官網下載的Hadoop，我這裡下載的hadoop 2.5.2版本的。

3.2解壓Hadoop

輸入命令tar -zxvf hadoop-2.5.2.tar.gz解壓Hadoop

3.3配置Hadoop

1) core-site.xml

<configuration>

 <!-- 指定hdfs的nameservice為ns -->
 <property>    
      <name>fs.defaultFS</name>    
      <value>hdfs://ns</value>    
 </property>
 <!--指定hadoop資料臨時存放目錄-->
 <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop-2.5.2/tmp</value>
 </property>   
                          
 <property>    
      <name>io.file.buffer.size</name>    
      <value>4096</value>    
 </property>
 <!--指定zookeeper地址-->
 <property>
      <name>ha.zookeeper.quorum</name>
      <value>liuyazhuang145:2181,liuyazhuang146:2181,liuyazhuang147:2181</value>
 </property>

</configuration>

2) hdfs-site.xml

<configuration>
    <!--指定hdfs的nameservice為ns，需要和core-site.xml中的保持一致 -->    
    <property>    
        <name>dfs.nameservices</name>    
        <value>ns</value>    
    </property>  
    <!-- ns下面有兩個NameNode，分別是nn1，nn2 -->
    <property>
       <name>dfs.ha.namenodes.ns</name>
       <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通訊地址 -->
    <property>
       <name>dfs.namenode.rpc-address.ns.nn1</name>
       <value>liuyazhuang145:9000</value>
    </property>
    <!-- nn1的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>liuyazhuang145:50070</value>
    </property>
    <!-- nn2的RPC通訊地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>liuyazhuang146:9000</value>
    </property>
    <!-- nn2的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>liuyazhuang146:50070</value>
    </property>
    <!-- 指定NameNode的元資料在JournalNode上的存放位置 -->
    <property>
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://liuyazhuang145:8485;liuyazhuang146:8485;liuyazhuang147:8485/ns</value>
    </property>
    <!-- 指定JournalNode在本地磁碟存放資料的位置 -->
    <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/usr/local/hadoop-2.5.2/journal</value>
    </property>
    <!-- 開啟NameNode故障時自動切換 -->
    <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
    </property>
    <!-- 配置失敗自動切換實現方式 -->
    <property>
            <name>dfs.client.failover.proxy.provider.ns</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔離機制 -->
    <property>
             <name>dfs.ha.fencing.methods</name>
             <value>sshfence</value>
    </property>
    <!-- 使用隔離機制時需要ssh免登陸 -->
    <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
    </property>
                              
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:///usr/local/hadoop-2.5.2/hdfs/name</value>    
    </property>    
    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:///usr/local/hadoop-2.5.2/hdfs/data</value>    
    </property>    
    
    <property>    
       <name>dfs.replication</name>    
       <value>2</value>    
    </property>   
    <!-- 在NN和DN上開啟WebHDFS (REST API)功能,不是必須 -->                                                                    
    <property>    
       <name>dfs.webhdfs.enabled</name>    
       <value>true</value>    
    </property>    
</configuration>

3) mapred-site.xml

<configuration>
 <property>    
        <name>mapreduce.framework.name</name>    
        <value>yarn</value>    
 </property>    
</configuration>

4) yarn-site.xml

<configuration>
    <!-- 指定nodemanager啟動時載入server的方式為shuffle server -->
    <property>    
            <name>yarn.nodemanager.aux-services</name>    
            <value>mapreduce_shuffle</value>    
     </property>  
     <!-- 指定resourcemanager地址 -->
     <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>liuyazhuang147</value>
      </property> 
</configuration>

在hadoop下手動建立journal目錄，在hadoop下手動建立/hdfs/name目錄和/hdfs/data目錄

別分輸入如下命令：

mkdir -p /usr/local/hadoop-2.5.2/journal
mkdir -p /usr/local/hadoop-2.5.2/hdfs/name
mkdir -p /usr/local/hadoop-2.5.2/hdfs/data

注：後續如果Hadoop啟動失敗，可能是配置檔案的編碼問題，如果是配置檔案的編碼問題，則將上面的配置檔案中的中文註釋全部刪除掉即可。

5) hadoop-env.sh

找到檔案的export JAVA_HOME=${JAVA_HOME} 一行，將其修改為export JAVA_HOME=/usr/local/jdk1.7.0_72

6)slaves

liuyazhuang145
liuyazhuang146
liuyazhuang147

7)配置Hadoop環境變數

加上之前配置的JDK環境變數和Zookeeper環境變數，/etc/profile檔案如下所示：

JAVA_HOME=/usr/local/jdk1.7.0_72
CLASS_PATH=.:$JAVA_HOME/lib
HADOOP_HOME=/usr/local/hadoop-2.5.2
ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.9
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$PATH
export JAVA_HOME HADOOP_HOME CLASS_PATH PATH

8)複製Hadoop環境到其他主機

在命令列分別輸入如下命令

scp -r /usr/local/hadoop-2.5.2 liuyazhuang146:/usr/local
scp -r /usr/local/hadoop-2.5.2 liuyazhuang147:/usr/local
scp /etc/profile liuyazhuang146:/etc
scp /etc/profile liuyazhuang147:/etc

同時，我們分別在liuyazhuang146和liuyazhuang147主機上執行命令source /etc/profile使環境變數生效。

至此，Hadoop叢集環境搭建完畢。

三、叢集的啟動

1、啟動Zookeeper叢集

分別在liuyazhuang145、liuyazhuang146、liuyazhuang147上執行如下命令啟動zookeeper叢集；

zkServer.sh start 

驗證叢集zookeeper叢集是否啟動，分別在liuyazhuang145、liuyazhuang146、liuyazhuang147上執行如下命令驗證zookeeper叢集是否啟動，叢集啟動成功，有兩個follower節點跟一個leader節點；

如下：

2、啟動journalnode叢集

在liuyazhuang145上執行如下命令完成JournalNode叢集的啟動

[[email protected] ~]# hadoop-daemons.sh start journalnode 

 執行jps命令，可以檢視到JournalNode的java程序pid

3、格式化zkfc,在zookeeper中生成ha節點

在liuyazhaung145執行如下命令，完成格式化

hdfs zkfc –formatZK 

 （注意，這條命令最好手動輸入，直接copy執行有可能會有問題）

4、 格式化hdfs

hadoop namenode –format 

（注意，這條命令最好手動輸入，直接copy執行有可能會有問題）

5、 啟動NameNode

首先在mast1上啟動active節點，在liuyazhuang145上執行如下命令

[[email protected] ~]# hadoop-daemon.sh start namenode 

在liuyazhuang146上同步namenode的資料，同時啟動standby的namenode,命令如下

#把NameNode的資料同步到liuyazhuang146上  
[[email protected] ~]# hdfs namenode -bootstrapStandby  
#啟動liuyazhuang146上的namenode作為standby  
[[email protected] ~]# hadoop-daemon.sh start namenode  

6、啟動啟動datanode

在liuyazhuang145上執行如下命令

[[email protected] ~]# hadoop-daemons.sh start datanode  

7、 啟動yarn

在作為資源管理器上的機器上啟動，我這裡是liuyazhuang147,執行如下命令完成yarn的啟動

[[email protected] ~]# start-yarn.sh 

8、啟動ZKFC

在liuyazhaung145上執行如下命令，完成ZKFC的啟動

[[email protected] ~]# hadoop-daemons.sh start zkfc 

全部啟動完後分別在liuyazhuang145,liuyazhuang146,liuyazhuang147上執行jps是可以看到下面這些程序

liuyazhuang145:
[[email protected] ~]# jps
3914 DFSZKFailoverController
3557 DataNode
4081 NameNode
2552 QuorumPeerMain
3357 JournalNode
3669 NodeManager
5716 Jps
[[email protected] ~]# 

liuyazhuang146:
[[email protected] ~]# jps
3719 NameNode
3129 DataNode
6543 Jps
2460 QuorumPeerMain
3451 DFSZKFailoverController
3241 NodeManager
3025 JournalNode
[[email protected] ~]# 

liuyazhuang147:
[[email protected] ~]# jps
2700 JournalNode
2838 DataNode
3569 Jps
2952 ResourceManager
3040 NodeManager
2471 QuorumPeerMain
[[email protected] ~]#

四、測試HA的高可用性

啟動後liuyazhuang145的namenode和liuyazhuang146的namenode如下所示：

此時，我們停掉liuyazhuang145主機上的namenode

在liuyazhuang145主機上執行命令hadoop-daemon.sh stop namenode  ，此時liuyazhuang146上的namenode變為active狀態

此時，我們啟動liuyazhuang145上的namenode，在命令列輸入命令:hadoop-daemon.sh start namenode

此時，我們看到liuyazhuang145上的namenode為standby狀態  liuyazhuang146上的namenode為active狀態

如果liuyazhuang146上的namenode掛掉，liuyazhuang145上的namenode就會變為active狀態，再次重啟liuyazhuang146上的namenode，liuyazhuang146上的namenode即變為standby狀態，實現了namenode的高可用。

五、附錄

增減DataNode需要更改的檔案：
hdfs-site.xml
slaves
/etc/hosts

另外如果新加入節點，需要更新叢集內所有節點的公鑰，以便互相之間可以無密碼訪問。

至此，Hadoop2.5.2 HA高可靠性叢集搭建(Hadoop+Zookeeper)搭建完畢。