偽分散式的搭建（YARN上執行MapReduce 程式）

• 1.啟動叢集
• 1.1在當前目錄下
• 1.2確保NameNode和DataNode已經啟動
• 1.3啟動ResourceManager
• 1.4啟動NodeManager
• 1.5檢視啟動情況
• 2.叢集測試
• 2.1YARN的瀏覽器頁面檢視
• 2.2如果檔案系統上存在output檔案則刪除
• 2.3執行MapReduce程式
• 2.4檢視執行結果

1.啟動叢集

1.1在當前目錄下

1.2確保NameNode和DataNode已經啟動

執行命令：jps

1.3啟動ResourceManager

執行命令：sbin/yarn-daemon.sh start resourcemanager

1.4啟動NodeManager

執行命令：sbin/yarn-daemon.sh start nodemanager

1.5檢視啟動情況

執行命令：jsp

2.叢集測試

2.1YARN的瀏覽器頁面檢視

在瀏覽器輸入：http://[伺服器ip地址].101:8088/cluster

2.2如果檔案系統上存在output檔案則刪除

執行命令：bin/hdfs dfs -rm -R /user/lsl/output

2.3執行MapReduce程式

執行命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/lsl/input /user/lsl/output

2.4檢視執行結果

執行命令：bin/hdfs dfs -cat /user/lsl/output/*

版權宣告：本部落格為記錄本人自學感悟，轉載需註明出處！
https://me.csdn.net/qq_39657909