Hadoop啟動操作過程及常見錯誤
阿新 • • 發佈:2019-01-31
主要啟動步驟
- 格式化
cd $HADOOP_HOME
./bin/hdfs namenode -format
成功的話,會看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若為 “Exitting with status 1” 則是出錯。
- 開啟 NaneNode 和 DataNode 守護程序
./sbin/start-dfs.sh
啟動完成後,可以通過命令 jps 來判斷是否成功啟動,若成功啟動則會列出如下程序:“NameNode”、”DataNode”和SecondaryNameNode(如果 SecondaryNameNode 沒有啟動,請執行 sbin/stop-dfs.sh 關閉程序,然後再次嘗試啟動嘗試,一般來說,可能是由於5000埠被佔用
)。如果沒有 NameNode 或 DataNode ,那就是配置不成功,請仔細檢查之前步驟,或通過檢視啟動日誌排查原因,或者直接刪除tmp/dfs,然後格式化hdfs即可(./hdfs namenode -format)重新在tmp目錄下生成一個dfs檔案。
通過檢視啟動日誌分析啟動失敗原因:
有時 Hadoop 無法正確啟動,如 NameNode 程序沒有順利啟動,這時可以檢視啟動日誌來排查原因,注意幾點:
啟動時會提示形如 “dblab: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.out”,其中 dblab 對應你的主機名,但啟動的日誌資訊是記錄在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.log 中,所以應該檢視這個字尾為 .log 的檔案;
每一次的啟動日誌都是追加在日誌檔案之後,所以得拉到最後面看,看下記錄的時間就知道了。
一般出錯的提示在最後面,也就是寫著 Fatal、Error 或者 Java Exception 的地方。
可以在網上搜索一下出錯資訊,看能否找到一些相關的解決方法。
- 啟動 YARN
./sbin/start-yarn.sh $ 啟動YARN
- 啟動歷史伺服器
./sbin/mr-jobhistory-daemon.sh start historyserver