HDFS block丟失過多進入安全模式（Safe mode）的解決方法

背景及現象描述(Background and Symptom)

 因磁碟空間不足，記憶體不足，系統掉電等其他原因導致dataNode datablock丟失，出現如下類似日誌：

The number of live datanodes 3 has reached the minimum number 0.

Safe mode will be turned off automatically once the thresholds have been reached.

Caused by: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled.

 Name node is in safe mode.

The reported blocks 632758 needs additional 5114 blocks to reach the threshold 0.9990

of total blocks 638510.

The number of live datanodes 3 has reached the minimum number 0.

Safe mode will be turned off automatically once the thresholds have been reached.

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode

(FSNamesystem.java:1209)

    ... 12 more

原因分析(Cause Analysis)*

由於系統斷電，記憶體不足等原因導致dataNode丟失超過設定的丟失百分比，系統自動進入安全模式

解決辦法(Solution)*

安裝HDFS客戶端，並執行如下命令：

                                步驟 1     執行命令退出安全模式：hadoop dfsadmin -safemode leave

                                步驟 2     執行健康檢查，刪除損壞掉的block。  hdfs fsck  /  -delete

注意: 這種方式會出現資料丟失，損壞的block會被刪掉

叢集機器意外斷電重啟，導致hbase 無法正常啟動，丟擲reflect invocation異常，可能是正在執行的插入或合併等操作進行到一半時中斷，導致部分資料檔案不完整格式不正確或在hdfs上block塊不完整。

在網上查了一下相關資料，懷疑有可能是關閉前一些未提交的修改所存放的log檔案資料寫入一半檔案不完整，故把hbase.hlog.split.skip.errors改成true進行嘗試。

關於這個引數作用的解釋：

當伺服器奔潰，重啟的時候，會有個回放的過程，把/hbase/WAL/下面記錄的log都回放一遍，合併到每個region中，回放過程中如果有error發生，這個引數又是false，那麼exception就會向外層輸出，回放失敗。

但是很遺憾，將此引數修改後hbase叢集仍然無法正常啟動。

然後就琢磨其他原因，先觀察hbase啟動時的60010監控頁面，

發現部分region FAILED_OPEN錯誤，its007-meta表一共200個region，只啟動成功199個。

似乎想到了什麼，對了，很可能是這個region的資料檔案格式不正確，那就先檢查一下其在hdfs上的檔案是否正常。

果不其然，觀察hadoop的50070頁面，會提示hadoop檔案系統的具體路徑上有兩個資料塊出錯。

（關於hbase在hdfs上的目錄相關文章連結：HBase在HDFS上的目錄樹）

解決方法：

1.      執行hadoop fsck / -files檢查hdfs檔案

2.      發現/hbase/oldWALs目錄下有一個檔案損壞，

執行hadoop fsck / -delete清除損壞的檔案

3.      執行hbase hbck -details檢視hbase概況，發現Table its007-meta有一個region載入失敗

4.      執行hbase hbck -fixMeta嘗試修復系統元資料表

5.      執行hbase hbck -fix嘗試修復region資料不一致問題。

6.      再次執行hbase hbck -details發現問題仍然未修復，那個region仍然載入失敗。

故直接將該region下出錯的檔案移走，暫時移至hdfs根目錄

hadoop fs -move /hbase/data/default/its007-meta/fe6463cba743a87e99f9d8577276bada/meta/9a853fdbe13046fca194051cb9f69f9b /

fe6463cba743a87e99f9d8577276bada是region的名字

9a853fdbe13046fca194051cb9f69f9b是region下出錯的HFile，有800k大小（注：一個region下可以有多HFile）

7.      執行hbase hbck -fix重新載入之前失敗的region，至此完成修復，丟棄了出錯的HFile

總結：

hbase在hdfs上一共兩個檔案損壞。（關於hdfs檔案寫入相關文章：hdfs檔案寫入相關概念）

一個是oldWALs下的，這個是存放一些沒用的HLog檔案的，這裡有檔案損壞，說明從WALs中轉移沒用的HLog寫到oldWALs下時，寫了一半斷電導致hdfs上檔案資料塊出錯；

另一個是region下一個HFile檔案損壞，這個檔案800k比較小，應該是從Memstore flush到HFile時，寫了一半沒寫完導致其在hdfs上的檔案資料塊出錯。