1. 程式人生 > >Hadoop叢集搭建過程問題總結

Hadoop叢集搭建過程問題總結

1.datanode節點無法啟動
(1)無法與slave是通訊
檢查slaves檔案slave節點名稱是否正確
檢查防火牆是否關閉(使用setup命令關閉防火牆,iptables -F 命令有時會失效,chkconfig IPtables on 命令需重啟生效)
檢查/etc/hosts 是否配置正確
(2)clusterID不匹配
DataNode與namenode中的clusterID不匹配:~/hadoopdata/dfs/namesecondary/current/VERSION中clusterID修改為namenode中的clusterID。
當我們執行檔案系統格式化時,會在namenode資料資料夾(即配置檔案中dfs.name.dir在本地系統的路徑)中儲存一個current/VERSION檔案,記錄namespaceID,標識了所格式化的 namenode的版本。如果我們頻繁的格式化namenode,那麼datanode中儲存(即配置檔案中dfs.data.dir在本地系統的路徑)的current/VERSION檔案只是你第一次格式化時儲存的namenode的ID,因此就會造成datanode與namenode之間的id不一致。
2.hbase-1.0.2啟動成功,但無法訪問master:60010
在hbase-site.xml中新增
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
3.退出安全模式-safemode
hdfs dfsadmin --safenode leave
4.hadoop叢集啟動不成功-格式化多次
關閉叢集,刪除hadoopdata目錄,刪除Hadoop安裝目錄下的logs資料夾中的所有日誌檔案。重新格式化,再次啟動叢集。
5.出現jps,hadoop.hdfs等命令無法識別
~/.bash_profile檔案環境變數配置錯誤,請仔細檢查。若開始時命令可以識別,重啟或一段時間後無法識別,重新source ~/.bash_profile.
6.Hive安裝報錯:Terminal initialization failed; falling back to unsupported
Hadoop目錄下存在老版本的jline,將hive檔案中的jline-2.12.jar替換老版jline。重新啟動Hadoop叢集,再次啟動hive,問題解決.
7.若IP為自動獲取,叢集無法啟動,可能是ip改變。