1. 程式人生 > >datanode報錯:java.io.IOException:Premature EOF from inputStream

datanode報錯:java.io.IOException:Premature EOF from inputStream

HDSF datanode報錯如下:

 

原因:檔案操作超租期,實際上就是data stream操作過程中檔案被刪除了,通常是因為Mapred多個task操作同一個檔案,一個task完成後刪掉檔案導致。這個錯誤跟dfs.datanode.max.transfer.threads引數到達上限有關。這個是datanode同時處理請求的任務上限,總預設值是4096,該引數取值範圍[1to8192]

 

更改操作:

修改每個datanode節點的hadoop配置檔案hdfs-site.xml:

增加dfs.datanode.max.transfer.threads屬性的設定,設定為8192