在已經安裝完hadoop單機和zookeeper前提下

1.免金鑰

ssh-keygen -t rsa

分發祕鑰

ssh-copy-id -i master

ssh-copy-id -i node1

ssh-copy-id -i node2

2.修改hadoop配置檔案(我在master中修改)

core-site.xml
hdfs-site.xml

yarn-site.xml
mapred-site.xml

我是直接匯入檔案覆蓋

3.同步到其他節點

scp * node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop/

scp * node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop/

4.刪除hadoop資料儲存目錄下的檔案  每個節點都需要刪除

rm -rf /usr/local/soft/hadoop-2.7.6/tmp

5.啟動zookeeper 三臺都需要啟動

zkServer.sh start
zkServer.sh status

此時一臺一個zk的節點

6.啟動JN 儲存hdfs元資料

三臺JN上執行 啟動命令: hadoop-daemon.sh start journalnode

此時一臺一個zk節點,一個jn日誌節點

7.格式化 在一臺NN上執行

hdfs namenode -format

啟動當前的NN
hadoop-daemon.sh start namenode

此時master上多了個namenode節點

8.執行同步 沒有格式化的NN上執行 在另外一個namenode上面執行

hdfs namenode -bootstrapStandby

這是node1上還沒有namenode節點很正常,還沒有啟動hdfs

9.格式化ZK

在已經啟動的namenode上面執行 !!一定要先 把zk叢集正常 啟動起來 hdfs zkfc -formatZK

10.啟動hdfs叢集,在啟動了namenode的節點上執行

start-dfs.sh

master上:

node1上:

node2上:

黃色:QuorumPeerMain:zk的節點,三臺都有    3個

粉色:JournalNode:jn日誌節點,三臺都頭   3個

紅色:Namenode:管理節點:出現在master和node1上    2個

藍色:DFSZKFailoverController:ZKFC:用來觀察master和node1,防止宕機時可以替代    2個

灰色:DataNode:工作節點,用於儲存hdfs資料,出現在node1和node2上   2個

一共12個節點此時

11.啟動yarn 在master啟動

start-yarn.sh

master:多了一個ResourceManager節點,用於處理整個叢集資源的總節點

node1和node2上:多個NodeManger節點,用於跟蹤監視資源

此時多了一個ResourceManager節點和2個NodeManager節點

12.在另外一臺主節點上啟動RM

yarn-daemon.sh start resourcemanager

此時node1上:多個一個nNodeManager節點,用於備份

此時node1多了個 ResourceManager節點