1. 程式人生 > >Hadoop中正常啟動了datanode但管理介面卻卻顯示0個datanode節點或者只有本機的一個datanade,DFS Used顯示0(100%)

Hadoop中正常啟動了datanode但管理介面卻卻顯示0個datanode節點或者只有本機的一個datanade,DFS Used顯示0(100%)

 以下會列出引起該問題的常見原因,及其解決辦法

1、在hadoop已經啟動的前提下,使用命令netstat  -an |grep 9001  (改命令用來監聽namenode主節點通訊情況,9001為我的埠號)


引起這種情況的原因通常有兩種:

(1)/etc/hosts 檔案未配置

(2)防火牆未關閉,導致datanode啟動了,但卻無法與namenode之間進行通訊

 情況(1)解決方法:關閉hadoop叢集,修改hosts檔案,命令:sudo vim /etc/hosts,


刪除其餘的配置,向其中新增主節點以及從節點資訊

情況(2)解決辦法:關閉hadoop叢集,關閉防火牆命令:systemctl stop firewalld.service

                             禁止防火牆開機啟動:systemctl disable firewalld.service 

此時再次啟動hadoop集群后,輸入命令netstat  -an |grep 9001 

可以看到這些節點彼此間的通訊情況:


2、如果是防火牆關閉了、hosts檔案也配置好了,在管理介面還是隻有本機的datanode,或者一個都沒有,那麼應該是你多次使用命令hadoop namenode -format對namenode進行了格式化,這就使得/usr/local/hadoop/tmp/dfs 下的data與name中的VERSION  clusterID不一致了,把他們改一致即可。


之後去瀏覽器管理介面輸入:master:9001(根據你的節點名和埠號輸入)就可以看到啟動的節點情況了,(我只啟動了一個datanode,所以一個活的,一個死的O~O)