1.修改Linux主機名
2.修改IP
3.修改主機名和IP的對映關係

注意######如果你們公司是租用的伺服器或是使用的雲主機（如華為用主機、阿里雲主機等）

/etc/hosts裡面要配置的是內網IP地址和主機名的對映關係
4.關閉防火牆
5.ssh免登陸
6.安裝JDK，配置環境變數等

叢集規劃：

說明：
1.在hadoop2.0中通常由兩個NameNode組成，一個處於active狀態，另一個處於standby狀態。Active NameNode對外提供服務，而Standby NameNode則不對外提供服務，僅同步active namenode的狀態，以便能夠在它失敗時快速進行切換。
hadoop2.0官方提供了兩種HDFS HA的解決方案，一種是NFS，另一種是QJM。這裡我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元資料資訊，一條資料只要成功寫入多數JournalNode即認為寫入成功。通常配置奇數個JournalNode
這裡還配置了一個zookeeper叢集，用於ZKFC（DFSZKFailoverController）故障轉移，當Active NameNode掛掉了，會自動切換Standby NameNode為standby狀態
2.hadoop-2.2.0中依然存在一個問題，就是ResourceManager只有一個，存在單點故障，hadoop-2.4.1解決了這個問題，有兩個ResourceManager，一個是Active，一個是Standby，狀態由zookeeper進行協調
安裝步驟：
1.安裝配置zooekeeper叢集（在service1上）
1.1解壓

[root@service1 local]#tar -zxvf    zookeeper-3.4.6.tar.g-C /zdq/
[root@service1 local]#mv zookeeper-3.4.6/ zookeeper

1.2修改配置

[root@service1 local]#cd /zdq/zookeeper/conf/
[root@service1 local]#cp zoo_sample.cfg zoo.cfg
[root@service1 local]#vim zoo.cfg

修改：
dataDir=/zdq/temp/zookeeper/zookeeper/zkData

在最後新增：

server.1=service1:2888:3888
server.2=service2:2888:3888
server.3=service3:2888:3888

儲存退出
然後建立一個tmp資料夾

[root@service1 local]#mkdir /zdq/zookeeper/zkData

再建立一個空檔案

[root@service1 local]#touch /zdq/zookeeper/zkData/myid

最後向該檔案寫入ID

[root@service1 local]#echo 1 > /zdq/zookeeper/zkData/myid

1.3將配置好的zookeeper拷貝到其他節點(首先分別在service2、service3根目錄：/zdq/)

[root@service1 local]#scp -r /zdq/zookeeper/ service2:/zdq/
[root@service1 local]#scp -r /zdq/zookeeper/ service3:/zdq/

注意：修改service2、service3對應/zdq/zookeeper/zkData/myid內容

service2：
[root@service1 local]#echo 2 > /zdq/zookeeper/zkData/myid
service3：
[root@service1 local]#echo 3 > /zdq/zookeeper/zkData/myid

2.安裝配置hadoop叢集（在service1上操作）
2.1解壓

[root@service1 local]#tar -zxvf hadoop-2.7.4.tar.gz -C /zdq/

2.2配置HDFS（hadoop2.0所有的配置檔案都在$HADOOP_HOME/etc/hadoop目錄下）

將hadoop新增到環境變數中

[[email protected] local]#vim /etc/profile
export JAVA_HOME=/zdq/jdk1.8
export HADOOP_HOME=/zdq/hadoop-2.7.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

hadoop2.0的配置檔案全部在$HADOOP_HOME/etc/hadoop下

[root@service1 local]#cd /zdq/hadoop-2.7.4/etc/hadoop

2.2.1修改hadoo-env.sh

export JAVA_HOME=/zdq/jdk1.8

2.2.2修改core-site.xml

<configuration>
    <!-- 指定hdfs的nameservice為service1s -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://service1s</value>
    </property>
    <!-- 指定hadoop臨時目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/zdq/hadoop-2.7.4/tmp</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>service1:2181,service2:2181,service3:2181</value>
    </property>
</configuration>

2.2.3修改hdfs-site.xml

<configuration>
        <!--指定hdfs的nameservice為mycluster，需要和core-site.xml中的保持一致 -->
        <property>
                <name>dfs.nameservices</name>
                <value>mycluster</value>
        </property>
        <!-- mycluster下面有兩個NameNode，分別是service1，service6 -->
        <property>
                <name>dfs.ha.namenodes.mycluster</name>
                <value>service1,service6</value>
        </property>
        <!-- service1的RPC通訊地址 -->
        <property>
                <name>dfs.namenode.rpc-address.mycluster.service1</name>
                <value>service1:9000</value>
        </property>
        <!-- service1的http通訊地址 -->
        <property>
                <name>dfs.namenode.http-address.mycluster.service1</name>
                <value>service1:50070</value>
        </property>
        <!-- service6的RPC通訊地址 -->
        <property>
                <name>dfs.namenode.rpc-address.mycluster.service6</name>
                <value>service6:9000</value>
        </property>
        <!-- service6的http通訊地址 -->
        <property>
                <name>dfs.namenode.http-address.mycluster.service6</name>
                <value>service6:50070</value>
        </property>
        <!-- 指定NameNode的元資料在JournalNode上的存放位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://service2:8485;service3:8485;service4:8485/mycluster</value>
        </property>
        <!-- 指定JournalNode在本地磁碟存放資料的位置 -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/zdq/hadoop-2.7.4/journal</value>
        </property>
        <!-- 開啟NameNode失敗自動切換 -->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!-- 配置失敗自動切換實現方式 -->
        <property>
                <name>dfs.client.failover.proxy.provider.mycluster</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!-- 配置隔離機制方法，多個機制用換行分割，即每個機制暫用一行-->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>
                        sshfence
                        shell(/bin/true)
                </value>
        </property>
        <!-- 使用sshfence隔離機制時需要ssh免登陸 -->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <!-- 配置sshfence隔離機制超時時間 -->
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>
        </property>
</configuration>

2.2.4修改mapred-site.xml

<configuration>
    <!-- 指定mr框架為yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.2.5修改yarn-site.xml

<configuration>
        <!-- 開啟RM高可靠 -->
        <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <!-- 指定RM的cluster id -->
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>cluster1</value>
        </property>
        <!-- 指定RM的名字 -->
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
        </property>
        <!-- 分別指定RM的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>service1</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>service6</value>
        </property>
        <property>
                <name>yarn.resourcemanager.recovery.enabled</name>
                <value>true</value>
        </property>

        <property>
                <name>yarn.resourcemanager.store.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>
        <!-- 指定zk叢集地址 -->
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>service1:2181,service2:2181,service3:2181</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

2.2.6修改slaves(slaves是指定子節點的位置，因為要在service1上啟動HDFS、在service1啟動yarn，所以service1上的slaves檔案指定的是datanode的位置，service1上的slaves檔案指定的是nodemanager的位置)
service1
service2
service3

2.2.7配置免密碼登陸

首先要配置service1到service2、service3、service4、service6的免密碼登陸

在service1上生產一對鑰匙

[root@service1 local]#ssh-keygen -t rsa

將公鑰拷貝到其他節點，包括自己

2.4將配置好的hadoop拷貝到其他節點

[root@service1 local]#scp -r /zdq/hadoop-2.7.4/ service2:/zdq/
[root@service1 local]#scp -r /zdq/hadoop-2.7.4/ service3:/zdq/
[root@service1 local]#scp -r /zdq/hadoop-2.7.4/ service4:/zdq/
[root@service1 local]#scp -r /zdq/hadoop-2.7.4/ service6:/zdq/

注意：嚴格按照下面的步驟

2.5啟動zookeeper叢集（分別在service1、service2、service3上啟動zk）

[root@service1 local]#cd /zdq/zookeeper/bin/
[root@service1 local]#./zkServer.sh start

檢視狀態：一個leader，兩個follower

[root@service1 local]#./zkServer.sh status

2.6啟動journalnode（分別在service2、service3、service4上執行）

[root@service1 local]#cd /zdq/hadoop-2.7.4/sbin
[root@service1 local]#sbin/hadoop-daemon.sh start journalnode

執行jps命令檢驗，service2、service3、service4上多了JournalNode程序

2.7格式化HDFS

在service1上執行命令:

[root@service1 local]#hdfs namenode -format
[root@service1 local]#hadoop-daemon.sh start namenode

格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個檔案，這裡我配置的是/zdq/hadoop-2.7.4/tmp，

然後將/zdq/hadoop-2.7.4/tmp拷貝到service6的/zdq/hadoop-2.7.4/下。

[root@service1 local]#scp -r tmp/ service6:/zdq/hadoop-2.7.4/

在新的節點上實行狀態引導(我這裡新節點是service6)

[root@service6 local]hdfs namenode -bootstrapStandby

在一個NN上執行，完成edit日誌傳輸到JN

[root@service6 local]hdfs namenode -initializeSharedEdits

2.8格式化ZK(在service1上執行即可)

[root@service1 local]#hdfs zkfc -formatZK

2.9啟動HDFS(在service1上執行)

[root@service1 local]#sbin/start-dfs.sh

2.10啟動YARN(#####注意#####：是在service3上執行start-yarn.sh，把namenode和resourcemanager分開是因為效能問題，因為他們都要佔用大量資源，所以把他們分開了，他們分開了就要分別在不同的機器上啟動)

[root@service1 local]#service3:${HADOOP_HOME}/sbin/start-yarn.sh
[root@service1 local]#service4:${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager

到此，hadoop-2.7.4配置完畢，可以統計瀏覽器訪問:
http://192.168.3.201:50070
NameNode ‘service1:9000’ (active)
http://192.168.3.206:50070
NameNode ‘service6:9000’ (standby)

驗證HDFS HA
首先向hdfs上傳一個檔案

[root@service1 local]#hadoop fs -put /etc/profile /profile
[root@service1 local]#hadoop fs -ls /

然後再kill掉active的NameNode

[root@service1 local]#kill -9 <pid of NN>

通過瀏覽器訪問：http://192.168.3.206:50070
NameNode ‘service6:9000’ (active)
這個時候service6上的NameNode變成了active
在執行命令：

[root@service1 local]#hadoop fs -ls /
-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile

剛才上傳的檔案依然存在！！！
手動啟動那個掛掉的NameNode

[root@service1 local]#sbin/hadoop-daemon.sh start namenode

通過瀏覽器訪問：http://192.168.3.206:50070
NameNode ‘service1:9000’ (standby)

驗證YARN：
執行一下hadoop提供的demo中的WordCount程式：
[[email protected] local]#hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

hadoop HA叢集搭建完成