Hadoop啟動後：DataNode: IOException in offerService

阿新 • • 發佈：2019-01-20

2018-05-11 16:16:41,171 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService
java.io.EOFException: End of File Exception between local host is: "node228/192.168.255.128"; destination host is: "master":9000; : java.io.EOFException; For more details see:  http://wiki.apache.org/hadoop/EOFException 

	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
	at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:765)
	at org.apache.hadoop.ipc.Client.call(Client.java:1480)
	at org.apache.hadoop.ipc.Client.call(Client.java:1413)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
	at com.sun.proxy.$Proxy15.sendHeartbeat(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.sendHeartbeat(DatanodeProtocolClientSideTranslatorPB.java:152)
	at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.sendHeartBeat(BPServiceActor.java:402)
	at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.offerService(BPServiceActor.java:500)
	at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:659)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.EOFException 

	at java.io.DataInputStream.readInt(DataInputStream.java:392)
	at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1085)
	at org.apache.hadoop.ipc.Client$Connection.run(Client.java:980)

datanode日誌裡面還有個錯：

ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.directoryscan.throttle.limit.ms.per.sec set to value below 1 ms/sec. Assuming default value of 1000

關於這個錯，我更是懵逼！！！

Hadoop也用了一段時間了，哎!經常出問題，這個問題出現了好多次，我也試了網上一些改正方法，然而，沒有奏效。

最可氣的是，start-dfs.sh後，相關程序都在執行。。。。。

這我找誰說理去。。。

最後，我把日誌檔案，配置的路徑下的檔案dfs/name,dfs/data,還有那個臨時資料夾tmp都清空，然後把master的namenode、datanode，還有slave的datanode都格式化，突然發現，少了個錯。。。。

最後還剩一個沒解決：

ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.directoryscan.throttle.limit.ms.per.sec set to value below 1 ms/sec. Assuming default value of 1000

哎！接著改。。。

Hadoop啟動後：DataNode: IOException in offerService

2018-05-11 16:16:41,171 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService java.io.EOFException: End of Fil

hadoop啟動中缺少datanode

hadoop安裝 csdn hadoop orm 8.4 bin lotus tps AR 原文鏈接地址：https://blog.csdn.net/islotus/article/details/78357857 本人測試有效：首先刪除hadoop下的dfs文件（註：本

Hadoop啟動錯誤--沒有datanode or namenode

最近在自學hadoop,處於前期配置階段，遇到好一些問題，這個問題比較經典，記錄一下。這有可能是因為我每次關閉伺服器的時候，沒有執行stop-all.sh 命令停止Hadoop。解決方法如下：（1）首先，執行stop-all.sh （2）檢查masters檔案和slaves檔案配置有無出

【hadoop】hadoop啟動後jps無法檢視守護程序

按照各個教程配置完hadoop後，用如下指令啟動守護程序： $ sudo sbin/start-all.sh 用echo $?確認指令執行過程無誤，但jps指令就是看不到程序： $ jps 7542 Jps grep程序後確認守護程序實際上都已正常執行，偶然想起之前的配

hadoop啟動後jps查不到namenode的解決辦法 hadoop啟動後jps查不到namenode的解決辦法

hadoop啟動後jps查不到namenode的解決辦法原文轉載至：https://www.cnblogs.com/lishpei/p/6136043.html 最近由於專案需要開始接觸hadoop，在配置偽分散式啟動後，jps查詢程序發現少了namenode，而Data

hadoop啟動後，9000埠無法連線，netstat -tpnl中找不到該埠

已解決：需要重新格式化hdfs。 1、停止hdfs； 2、刪除hdfs的相關檔案目錄（hdfs-site.xml中配置的存放檔案的目錄）。 3、啟動journalnode：sbin/hadoop-daemon.sh start journalnode； 4、格式化namenode：hdfs nam

hadoop 啟動的時候datanode報錯 Problem connecting to server

剛配置好的hadoop，namenode可以正常開啟，但是datanode卻不停的報錯，並且不能正常啟動： 2014-05-04 10:43:33,970 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Pr

tomcat啟動異常：Address already in use: JVM_Bind

悲催啊，水平太差了，一個小問題糾結了好久。。。。總結下解決過程吧，還是多虧了度娘和好多前人的帖子哎。。。。 2011-8-3 19:22:00 org.apache.catalina.core.AprLifecycleListener init 資訊: The APR ba

解決IDEA的tomcat啟動後：仍是舊專案或tomcat訪問不了，一種情況的解決

情形一：tomcat啟動後仍是舊專案，未載入新的專案情形二：tomcat訪問不了相關知識：原因：1、編譯目錄仍指向原專案war2、編譯輸出位置與部署位置不同3、配置出錯4、。。。。。。問題特徵（可能出現）：1、可以檢視out或target目錄下，發現檔案部署的不全，並且可能還

hadoop啟動時，datanode節點失敗

nod dex exceptio hosts port 問題 java.net cep 添加問題現象： Exiting with status 1: java.net.BindException: Port in use: localhost:0 　　

bug：datanode啟動後立刻死掉：java.io.IOException: Incompatible clusterIDs in....

java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hadoop-2.6.0/data/tmp/dfs/data: namenode clusterID = CID-c602bccc-3af9-431d-8391-f57b966

關於Hadoop啟動一段時間後DataNode消失：WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=DataNode,

啟動Hadoop一段時間後，其中一個機器上的DataNode消失，檢視日誌發現 2016-10-12 01:04:12,856 WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=Data

Hadoop叢集啟動後在網頁無法看到DataNode資訊

問題描述：node82作為namenode節點，node81,node80,node79作為datanode,jps顯示都是啟動的，可以登陸網頁卻看不到 datanode節點資訊。網頁顯示：

hadoop多次格式化後出現datanode無法正常啟動的解決辦法

hadoop 多次執行命令： hadoop namenode -format後，發現再次啟動hadoop後，datanode節點無法正常啟動，出現錯誤程式碼如下： could only be replicated to 0 nodes, instead of 1，產生這樣的

【故障】Hadoop Cluster啟動後資料節點（DataNode）程序狀態丟失

Hadoop Cluster啟動後資料節點（DataNode）程序狀態丟失在擁有三個節點的Hadoop叢集環境中，其各節點的配置為：CPU Intel(R) Core(TM) i3-3120M [email protected] 2.50GHz,記憶體RAM 6GB,Operation Sys

格式化hdfs後，hadoop集群啟動hdfs，namenode啟動成功，datanode未啟動

沒有 jps 數據文件不一致新的 hdf for ren size 　　集群格式化hdfs後，在主節點運行啟動hdfs後，發現namenode啟動了，而datanode沒有啟動，在其他節點上jps後沒有datanode進程！原因：　　當我們使用hdfs namenod

hadoop叢集啟動後datanode和namenodemanager關閉問題解決

成功啟動hadoop集群后，在matser機器上執行jps命令，可以看到： Jps ResourceManager NameNode SecondaryNameNode 在slave節點上可以看到： DataNode Jps Node

重新格式化hadoop的namenode導致datanode無法啟動的最簡單解決辦法

導致 roo 報錯信息不一致 atan 格式化 exceptio nco ava 一般namenode只格式化一次，重新格式化不僅會導致之前的數據都不可用，而且datanode也會無法啟動。在datanode日誌中會有類似如下的報錯信息： java.io.IOExcep

windows版redis報錯：本地計算機上的Redis服務啟動後停止

col target -c 計算 onf ont font -i 指定解決 1、如果需要臨時啟動Redis 使用命令：redis-server.exe redis.windows.conf --maxheap 200m 說明：200

tomcat啟動後報錯Bad version number in .class file (unable to load class oracle.jdbc.OracleDriver)

.com 使用重啟 jdbc file unable 錯誤得到 ava 對於tomcat啟動後報錯：錯誤原因：tomcat使用的jdk和eclipce的編譯用的jdk版本不同。解決辦法： 1、首先確定tomcat的jdk版本： 2、點開tomcat查看jdk版本。

Hadoop啟動後：DataNode: IOException in offerService

相關推薦