1. 程式人生 > >Hadoop啟動操作過程及常見錯誤

Hadoop啟動操作過程及常見錯誤

主要啟動步驟

  • 格式化
 cd $HADOOP_HOME
 ./bin/hdfs namenode -format

成功的話,會看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若為 “Exitting with status 1” 則是出錯。

  • 開啟 NaneNode 和 DataNode 守護程序
 ./sbin/start-dfs.sh

啟動完成後,可以通過命令 jps 來判斷是否成功啟動,若成功啟動則會列出如下程序:“NameNode”、”DataNode”和SecondaryNameNode(如果 SecondaryNameNode 沒有啟動,請執行 sbin/stop-dfs.sh 關閉程序,然後再次嘗試啟動嘗試,一般來說,可能是由於5000埠被佔用

)。如果沒有 NameNode 或 DataNode ,那就是配置不成功,請仔細檢查之前步驟,或通過檢視啟動日誌排查原因,或者直接刪除tmp/dfs,然後格式化hdfs即可(./hdfs namenode -format)重新在tmp目錄下生成一個dfs檔案
這裡寫圖片描述

通過檢視啟動日誌分析啟動失敗原因:
有時 Hadoop 無法正確啟動,如 NameNode 程序沒有順利啟動,這時可以檢視啟動日誌來排查原因,注意幾點:
啟動時會提示形如 “dblab: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.out”,其中 dblab 對應你的主機名,但啟動的日誌資訊是記錄在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.log 中,所以應該檢視這個字尾為 .log 的檔案


每一次的啟動日誌都是追加在日誌檔案之後,所以得拉到最後面看,看下記錄的時間就知道了。
一般出錯的提示在最後面,也就是寫著 Fatal、Error 或者 Java Exception 的地方。
可以在網上搜索一下出錯資訊,看能否找到一些相關的解決方法。

  • 啟動 YARN
 ./sbin/start-yarn.sh      $ 啟動YARN
  • 啟動歷史伺服器
./sbin/mr-jobhistory-daemon.sh start historyserver