啟動hadoop 2.6遇到的datanode啟動不了
檢視日誌如下:
2014-12-22 12:08:27,264 INFO org.mortbay.log: Started [email protected]:50075
2014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dnUserName = root
2014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: supergroup = supergroup
2014-12-22 12:08:32,865 INFO org.apache.hadoop.ipc.CallQueueManager: Using callQueue class java.util.concurrent.LinkedBlockingQueue
2014-12-22 12:08:32,889 INFO org.apache.hadoop.ipc.Server: Starting Socket Reader #1 for port 50020
2014-12-22 12:08:32,931 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Opened IPC server at /0.0.0.0:50020
2014-12-22 12:08:32,945 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Refresh request received for nameservices: null
2014-12-22 12:08:32,968 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting BPOfferServices for nameservices: <default>
2014-12-22 12:08:32,992 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:8020 starting to offer service
2014-12-22 12:08:33,001 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2014-12-22 12:08:33,003 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting
2014-12-22 12:08:33,536 INFO org.apache.hadoop.hdfs.server.common.Storage: DataNode version: -56 and NameNode layout version: -60
2014-12-22 12:08:33,699 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/hadoop/tmp/dfs/data/in_use.lock acquired by nodename [email protected]2014-12-22 12:08:33,706 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:8020. Exiting.
java.io.IOException: Incompatible clusterIDs in /home/hadoop/tmp/dfs
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:646)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:320)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:403)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:422)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1311)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1276)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:314)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:828)
at java.lang.Thread.run(Thread.java:662)
2014-12-22 12:08:33,716 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:8020
2014-12-22 12:08:33,718 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned)
2014-12-22 12:08:35,718 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2014-12-22 12:08:35,720 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2014-12-22 12:08:35,722 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at henry-ThinkPad-T400/127.0.0.1
************************************************************/
從日誌上看，加粗的部分說明了問題
datanode的clusterID 和 namenode的clusterID 不匹配。
解決辦法:
根據日誌中的路徑，cd /home/hadoop/tmp/dfs
能看到 data和name兩個資料夾，
將name/current下的VERSION中的clusterID複製到data/current下的VERSION中，覆蓋掉原來的clusterID
讓兩個保持一致
然後重啟，啟動後執行jps，檢視程序
20131 SecondaryNameNode
20449 NodeManager
19776 NameNode
21123 Jps
19918 DataNode
20305 ResourceManager
出現該問題的原因：在第一次格式化dfs後，啟動並使用了hadoop，後來又重新執行了格式化命令（hdfs
namenode -format)，這時namenode的clusterID會重新生成，而datanode的clusterID 保持不變。
相關推薦
Hadoop問題：啟動hadoop 2.6遇到的datanode啟動不了
left hand list common status ctc 解決辦法 總結 aac 問題描述：第一次啟動輸入jps都有，第二次沒有datanode 日誌如下： 查看日誌如下: 2014-12-22 12:08:27,264 INFO org.mortbay.l
啟動hadoop 2.6遇到的datanode啟動不了
檢視日誌如下: 2014-12-22 12:08:27,264 INFO org.mortbay.log: Started [email protected]:50075 2014-12-22 12:08:27,692 INFO org.apache.hadoop
hadoop-2.6.4 配置 啟動 關閉
安裝規劃 搭建一個由三臺機器構成的hadoop叢集,各機器角色如下 mini1 datanode namenode secondenamenode nodemanager resourc
Hadoop 2.6.x啟動出現：no databode to stop 錯誤
產生錯誤的原因： Hadoop啟動後的PID檔案的預設配置是儲存在/tmp 目錄下的，而linux下 /tmp 目錄會定時清理，所以在叢集執行一段時間後如果在輸入start-all.sh,出現no datanode to stop的錯誤提示，所以我們最好在配置檔案中修改以下PID的預
hadoop動態添加datanode啟動失敗的經驗
datanode balancer hadoop動態增加節點 動態添加datanode節點，主機名node14.cnshell>hadoop-daemon.sh start datanodeshell>jps #查看datanode進程是否已啟動發現DataNo
嘗試在ubuntu 14.04上編譯並啟動linux-2.6.32內核
嘗試 編譯 generic gre 生成 sudo tail rect uil 在ubuntu 14.04上編譯並啟動linux-2.6.32內核 [環境]$ cat /etc/issueUbuntu 14.04.5 LTS \n \l $ uname -aLinux Ui
啟動Hadoop 2.8.5遇到的錯誤：The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.
問題： yarn-site.xml配置： <?xml version="1.0"?> <configuration> <property> <name>yarn.resourcemanager
hadoop-2.6.0.tar.gz的叢集搭建（3節點）（不含zookeeper叢集安裝）
前言 關於幾個疑問和幾處心得！ a.用NAT，還是橋接，還是only-host模式？ b.用static的ip，還是dhcp的？ 答：static c.別認為快照和克隆不重要，小技巧，比別人靈活用，會很節省時間和大大減少錯誤。 d.重用起來指令碼語言的程式設計，如paython或s
hadoop叢集只有一個datanode啟動問題
之前不懂犯了個低階錯誤，導致datanode只能啟動一個；很是奇怪； 首先，之前多次將namenode格式化，導致namenode和datanode的clusterID不一致無法啟動datanode 注：clusterID在/usr/local/hadoop/hdfs/na
hadoop 2.6.0 LightWeightGSet源碼分析
lar therefore name ref implement urn round runtime info LightWeightGSet的作用用一個數組來存儲元素，而且用鏈表來解決沖突。不能rehash。所以內部數組永遠不用改變大小。此類不支持空元素。此類也不是線
Hadoop 2.6.5 FileSystem和Configuration兩個對象的探究
family 上傳數據 大數 塊大小 緩存 完成 color span 小夥伴 Hadoop 2.6.5 FileSystem和Configuration兩個對象的探究 版權聲明：本文為yunshuxueyuan原創文章，如需轉載，請標明出處。【http://www.
hadoop window下安裝 hadoop-2.6.0
all art ice dfs- win 技術 per atan 分享圖片 一、官網下載hadoop http://hadoop.apache.orghttps://archive.apache.org/dist/hadoop/common/hadoop-2.6.0 管理員
Mac 安裝Hadoop-2.6.0-cdh5.7.0偽分散式
下載Hadoop-2.6.0-cdh5.7.0 單機下載自己需要的版本，我下載的是hadoop-2.6.0-cdh5.7.0 一. 解壓 tar -zxvf hadoop-2.6.0-cdh5.7.0.
hadoop-2.6.0-cdh5.7.0偽分散式搭建
1，這個我們是直接在linux中下載hadoop-2.6.0-cdh5.7.0，（當然你也可以在本地下載後再上傳，這步就可以忽略）首先確保你的虛擬機器有網路，可以先ping百度測試有網沒，如下程式碼就是有網路的情況。 [[email protected
hadoop-2.6.5在CentOS6.5上配置
本科學生綜合性實驗報告 專案組長 學號 成 員 專 業 班級 實驗專案名稱 指導教師及職稱 開課學期 至 學年 學期 上課時間 年
Apache spark2.1.0編譯hadoop-2.6-cdh5.11.2的對應版本
Apache spark2.1.0 編譯 hadoop-2.6-cdh5.11.2 的對應版本 搞了兩天，終於把spark編譯成功了，把編譯過程記錄一下 編譯失敗的坑： 1）linux記憶體不足，maven編譯過程中記憶體溢位 2）找不到cloudera倉庫 3）報各種錯誤 考慮到ma
5、Hadoop 2.6.5 環境搭建
下載 地址：http://archive.apache.org/dist/hadoop/common/ sudo wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz 準備 官網文件：h
大資料學習系列8-Centos6.7 hadoop-2.6.5下sqoop-1.4.6的安裝部署
安裝sqoop的前提是已經具備java和hadoop的環境 1、下載並解壓 2、修改配置檔案 $ cd $SQOOP_HOME/conf $ mv sqoop-env-template.sh sqoop-env.sh 開啟sqoop-env.sh並編輯下面幾
6、Hadoop 2.6.0 執行
執行方式 Local (Standalone) Mode Pseudo-Distributed Mode Fully-Distributed Mode Standalone Operation $ sudo mkdir input $ sudo cp etc/hadoop/
Windows環境下搭建Hadoop(2.6.0）+Hive(2.2.0)環境並連線Kettle(6.0)
前提：配置JDK1.8環境，並配置相應的環境變數，JAVA_HOME 一.Hadoop的安裝 1.1 下載Hadoop (2.6.0) http://hadoop.apache.org/releases.html 1.1.1 下載對應版本的winutils（https://gith