1. 程式人生 > >Hadoop的一些常見錯誤解決方案

Hadoop的一些常見錯誤解決方案

1、啟動hadoop時沒有NameNode的可能原因:

(1) NameNode沒有格式化
(2) 環境變數配置錯誤
(3) Ip和hostname繫結失敗

2、搭建hadoop叢集使用ssh不成功

①檢視防火牆
②檢查使用者許可權
③可能是缺少外掛
使用命令: yum install -y openssh-clients*

3、啟動時報錯java.net. UnknownHostException

原因分析:通過localhost.localdomain根本無法對映到一個IP地址。
解決方法:檢視/etc/hosts,將主機名hostname新增到hosts檔案中。

4、hadoop在第一次啟動時報錯

①檢查是不是對namenode進行了格式化
②namenode格式化前是否將data 和logs檔案刪除

5、執行shell指令碼不成功

檢視指令碼的檔案格式修改為unix格式
修改指令碼格式:進入指令碼檔案按“shift :”輸入set fileformat = unix回車

6、window下執行我wordcount報下面錯誤

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解決方案:拷貝 hadoop.dll 檔案到 windows 目錄 C:\Windows\System32。
7、日誌問題

報錯log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

解決方案:需要在專案的src下面新建file名為log4j.properties的檔案;
8、遠端連線問題

當遠端連線不到linux時 檢視電腦中的網絡卡的子網掩碼與主機的子網掩碼是否一致,若不一致則格式化網絡卡再將網段改回來。

9、start-dfs.sh不能生效故障

使用時應注意ssh應可以免密登入本機才可以使用。

10、上傳檔案,報錯:NameNode is safe mode.

①等一會在上傳
②使用hdfs dfsadmin -safemode leave命令退出安全模式就可以繼續使用了