1. 程式人生 > >hadoop偽分散式下 無法啟動datanode的原因及could only be replicated to > 0 nodes, instead of 1的錯誤

hadoop偽分散式下 無法啟動datanode的原因及could only be replicated to > 0 nodes, instead of 1的錯誤

目前發現一個原因是 因為datanode無法啟動從而導致在hadoop上 put資料 出現 could only be replicated to > 0 nodes, instead of 1的錯誤。

輸入jps發現唯獨只有datanode程序沒有起來。所以我們要想辦法把datanode啟動起來。

1.環境描述:

ubuntu11.10

偽分佈是hadoop

jdk1.7

2.問題描述:

在hadoop上put資料時 出現could only be replicated to > 0 nodes, instead of 1的 錯誤提示。

jps命令 沒有沒看到datanode的程序啟動。

3.問題原因:

是由於多次format namenode節點導致  namdenode 的 namespaceID 與  datanode的namespaceID 不一致,從而導致namenode和 datanode的斷連。

(因為在多次format中  有 reformat namenode的提示,多次format中不用已知都選Y 去format namenode的 namespaceID ,這樣很容易造成ID不一致的情況)

4.問題解決:

hadoop format 初始化後  先不急著startall, 開啟hdfs-site.xml ,找到dfs.name.dir和dfs.data.dir的路徑。

將因format更新的 dfs.name.dir/current/VERSION中的namespaceID  更新到 dfs.data.dir/current/VERSION中的namespaceID中去(改的是dfs.data.dir中的ID)

如下:

dfs.name.dir:

#Wed Feb 26 12:33:11 CST 2014
namespaceID=125032091
cTime=0
storageType=NAME_NODE
layoutVersion=-32

將dfs.data.dir:
#Wed Feb 26 12:28:05 CST 2014
namespaceID=7685963
storageID=DS-1033031888-127.0.1.1-50010-1393227629778
cTime=0
storageType=DATA_NODE
layoutVersion=-32

改為:
#Wed Feb 26 12:28:05 CST 2014
namespaceID=125032091
storageID=DS-1033031888-127.0.1.1-50010-1393227629778
cTime=0
storageType=DATA_NODE
layoutVersion=-32

這樣再開始啟動startall就行了。

5.總結:

以後在hadoop format過程中 要注意不要頻繁地reformat  namnode的ID資訊。format過程中選擇N就是了。

相關推薦

hadoop分散式 無法啟動datanode原因could only be replicated to > 0 nodes, instead of 1錯誤

目前發現一個原因是 因為datanode無法啟動從而導致在hadoop上 put資料 出現 could only be replicated to > 0 nodes, instead of 1的錯誤。 輸入jps發現唯獨只有datanode程序沒有起來。所以我們要想

Hadoop-異常“could only be replicated to 0 nodes, instead of 1

因為我錯誤的format了namenode,導致了節點備份的檔案格式和namenode的不一致。 上傳檔案就會出現“could only be replicated to 0 nodes, instead of 1”異常。 解決辦法: 清理hadoop.temp.dir所在

hadoop檔案系統上傳檔案的時候報:could only be replicated to 0 nodes, instead of 1

1.錯誤原因:namenode 和datanode失聯,失戀的原因是:也許是你多次格式化hdfs導致namdenode 的 namespaceID 與  datanode的namespaceID 不一致 使用jps檢視程序,你會發現datanode就沒有啟動。 解決辦法:

執行時候報異常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) r

執行時候報異常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operati

Tomcat設定正常的情況無法啟動原因解決辦法

在eclipse中Tomcat設定正常,所以配置也沒有問題,但是有時我們遇到這樣的情況,Tomcat啟動超時。 這種情況是由於在工作管理員中有兩個javaw.exe 。 開啟工作管理員把這兩個Javaw.exe進行關掉,這是eclipse也會自

Hadoop上傳檔案報錯could only be written to 0 of the 1 minReplication nodes.

報錯:org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/navy/files/yc.txt could only be written to 0 of the 1 minReplic

OracleDBconsoleorcl服務無法啟動原因解決思路

被這個OracleDBconsole服務無法啟動的問題折磨了兩個星期了,今天很幸運,在網上無意間看到了一位大俠的思路,雖然錯誤的情況並不完全相同,但他的思路完全可以搬過來用。環境:Windows XP, 裝Oracle 11g,裝完資料庫軟體、新建一個數據庫(資料庫的SID

網卡無法啟動原因解決方法

使用 啟動 套件 重啟 ger alc 好的 sys entos 安裝好的的centos7系統,使用命令ip -a查看IP地址發現沒有IP地址。我重啟網卡試試,然後報錯,具體報錯如下:Restarting network (via systemctl): Job for

Hadoop錯誤1_Hadoop分散式分散式DataNode不能啟動的問題

問題導讀:1、hadoop 完全分散式 和偽分散式下 datanode無法啟動的原因?2、怎麼解決?問題描述:在叢集模式下更改節點後,啟動叢集發現 datanode一直啟動不起來。我叢集配置:有5個節點,分別為master slave1-5 。在master以hadoop使

hadoop分散式DataNode無法啟動

  start-dfs.sh一直啟動不了DataNode,仔細檢查了幾遍配置檔案都沒有發現什麼問題,有format了好幾次也不行。看DataNode的日誌發現這個: java.io.IOException: Incompatible clusterIDs in /usr/

啟動Hadoop時候datanode沒有啟動原因解決方案

data 重要 http tar img 保存 src com sta 有時候我們start-dfs.sh啟動了hadoop但是發現datanode進程不存在 一、原因 當我們使用hadoop namenode -format格式化namenode時,會在namenod

linux安裝hadoop分散式叢集

1.    在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html  這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌

windows搭建Flume client + Ubuntu18.04 Hadoop分散式

經過兩天的吐血折騰終於在hadoop的介面上看見我同步的日誌檔案了,記錄一下。先來張定妝照: dashboard裡檢視: ubuntu下檢視: 從Windows裡上傳的日誌檔案: ==================================從0開始折騰====

windows10 eclipse連線虛擬機器中的Hadoop分散式叢集

在windows用eclipse連線hadoop之後,可以便於進行mapreduce開發,非常方便,如果在虛擬機器裡面用eclipse的話  ,emmmmmm,你會卡到懷疑人生。     首先需要去下載eclipse,這個直接官網就ok  link

Centos7配置Hadoop分散式環境

Centos 版本:7 Hadoop版本:2.7.4 Java版本:1.8 一、安裝JDK 官網下載jdk 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.

CentOS6.5虛擬機器搭建Hadoop分散式環境

一、 實驗環境 作業系統:CentOS6.5 Hadoop版本:hadoop-2.7.2 JDK版本:jdk-8u73-linux-x64 二、 搭建步驟 1.安裝作業系統:使用VitualBox安裝CentOS6.5作業系統,安裝方式選擇為

在 kali linux 搭建 hadoop 分散式系統

記錄在 kali linux 下搭建 hadoop 偽分散式的過程: 1. 安裝和設定 JDK:     1) kali 中預設已經安裝 Java,可以使用 java -version 檢查 Java的安裝情況;發現 java 的安裝檔名可能是 openjdk      2

Hadoop叢集無法啟動datanode的解決方法

之前在hadoop在一起重啟之後就不能看到datanode的啟動,其中logs的日誌顯示: 2017-07-15 10:30:09,496 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, ca

win7啟動盤或PE無法啟動原因是U盤只支持FAT32不支持NTFS格式

win7啟動盤或PE無法啟動上周周末由於一些原因需要將本來的deepin系統換成windows系統,可是手裏沒有現成的啟動盤,於是上網買了個4G U盤,心想4G也就夠了。U盤到了之後就到網吧去下了個windows7的系統,用軟碟通寫入到了U盤,可是發現啟動時有問題,直接提示找不到winload.exe. 於是

搭建Hadoop分散式環境(筆記)

軟硬體環境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 關於本教程的說明 雲實驗室雲主機自動使用 root 賬戶登入系統,因此本教程中所有的操作都是以 root 使用者來執行的。若要在自己的雲主機上進行本教程的實驗,為了系統安全,建議