1. 程式人生 > >Hadoop之HDFS容錯機制詳解

Hadoop之HDFS容錯機制詳解

一、HDFS容錯機制

  

1.1、故障型別(三類故障)

  1)節點失敗

    

  2)網路故障

    

  3)資料損壞(髒資料)

    

1.2、故障檢測機制

  1)節點失敗檢測機制

    

    

    

  2)通訊故障檢測機制

    

  3)資料錯誤檢測機制

    

    

    

1.3、回覆:心跳資訊和資料塊報告

  

  HDFS儲存理念是以最少的錢買最爛的機器並實現最安全、難度高的分散式檔案系統(高容錯性低成本)。

  從上可以看出,HDFS認為機器故障是種常態,所以在設計時充分考慮到單個機器故障,單個磁碟故障,單個檔案丟失等情況。

1.4、讀寫容錯

  1)寫容錯

    

    

    

    

  2)讀容錯

    

    

1.5、資料節點(DN)失效

    

    

    

    

    

    

二、HDFS備份規則

  

  1)機架與資料節點

    

  2)副本放置策略

     

    資料塊的第一個副本優先放在寫入資料塊的客戶端所在的節點上,但是如果這個客戶端上的資料節點空間不足或者是當前負載過重,則應該從該資料節點所在的機架中選擇一個合適的資料節點作為本地節點。
    如果客戶端上沒有一個數據節點的話,則從整個叢集中隨機選擇一個合適的資料節點作為此時這個資料塊的本地節點。

   

    HDFS的存放策略是將一個副本存放在本地機架節點上,另外兩個副本放在不同機架的不同節點上。
    這樣叢集可在完全失去某一機架的情況下還能存活。同時,這種策略減少了機架間的資料傳輸,提高了寫操作的效率,因為資料塊只存放在兩個不同的機架上,

      減少了讀取資料時需要的網路傳輸總頻寬。這樣在一定程度上兼顧了資料安全和網路傳輸的開銷。