在已經安裝完hadoop單機和zookeeper前提下
1.免金鑰
ssh-keygen -t rsa
分發祕鑰
ssh-copy-id -i master
ssh-copy-id -i node1
ssh-copy-id -i node2
2.修改hadoop配置檔案(我在master中修改)
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
我是直接匯入檔案覆蓋
3.同步到其他節點
scp * node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop/
scp * node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop/
4.刪除hadoop資料儲存目錄下的檔案 每個節點都需要刪除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp
5.啟動zookeeper 三臺都需要啟動
zkServer.sh start
zkServer.sh status
此時一臺一個zk的節點
6.啟動JN 儲存hdfs元資料
三臺JN上執行 啟動命令: hadoop-daemon.sh start journalnode
此時一臺一個zk節點,一個jn日誌節點
7.格式化 在一臺NN上執行
hdfs namenode -format
啟動當前的NN
hadoop-daemon.sh start namenode
此時master上多了個namenode節點
8.執行同步 沒有格式化的NN上執行 在另外一個namenode上面執行
hdfs namenode -bootstrapStandby
這是node1上還沒有namenode節點很正常,還沒有啟動hdfs
9.格式化ZK
在已經啟動的namenode上面執行 !!一定要先 把zk叢集正常 啟動起來 hdfs zkfc -formatZK
10.啟動hdfs叢集,在啟動了namenode的節點上執行
start-dfs.sh
master上:
node1上:
node2上:
黃色:QuorumPeerMain:zk的節點,三臺都有 3個
粉色:JournalNode:jn日誌節點,三臺都頭 3個
紅色:Namenode:管理節點:出現在master和node1上 2個
藍色:DFSZKFailoverController:ZKFC:用來觀察master和node1,防止宕機時可以替代 2個
灰色:DataNode:工作節點,用於儲存hdfs資料,出現在node1和node2上 2個
一共12個節點此時
11.啟動yarn 在master啟動
start-yarn.sh
master:多了一個ResourceManager節點,用於處理整個叢集資源的總節點
node1和node2上:多個NodeManger節點,用於跟蹤監視資源
此時多了一個ResourceManager節點和2個NodeManager節點
12.在另外一臺主節點上啟動RM
yarn-daemon.sh start resourcemanager
此時node1上:多個一個nNodeManager節點,用於備份
此時node1多了個 ResourceManager節點