1. 程式人生 > >hdfs中CheckPoint(檢查點)

hdfs中CheckPoint(檢查點)

檢查點節點

NameNode使用兩個檔案來保留其名稱空間:fsimage,它是名稱空間和編輯的最新檢查點,是自檢查點以來名稱空間更改的日誌(日誌)。當NameNode啟動時,它會合並fsimage和edits journal以提供檔案系統元資料的最新檢視。NameNode然後用新的HDFS狀態覆蓋fsimage並開始一個新的編輯日誌。

Checkpoint節點定期建立名稱空間的檢查點。它從活動的NameNode下載fsimage和editlog,在本地合併它們,並將新映像上傳回活動的NameNode。Checkpoint節點通常在與NameNode不同的機器上執行,因為它的記憶體要求與NameNode的順序相同。Checkpoint節點由配置檔案中指定的節點上的bin / hdfs namenode -checkpoint啟動。

檢查點(或備份)節點及其隨附Web介面的位置是通過dfs.namenode.backup.address和dfs.namenode.backup.http-address配置變數配置的。

Checkpoint節點上檢查點程序的開始由兩個配置引數控制。

  • dfs.namenode.checkpoint.period,預設設定為1小時,指定兩個連續檢查點之間的最大延遲

  • dfs.namenode.checkpoint.txns,預設設定為1百萬,定義NameNode上的未經檢查的事務的數量,這將強制緊急檢查點,即使尚未達到檢查點週期。

Checkpoint節點將最新的檢查點儲存在與NameNode的目錄結構相同的目錄中。這允許檢查點影象在必要時始終可供NameNode讀取。請參閱匯入檢查點。

可以在群集配置檔案中指定多個檢查點節點。