1. 程式人生 > >namenode和secondary namenode之間的聯絡和區別

namenode和secondary namenode之間的聯絡和區別

這裡寫圖片描述
1、namenode是儲存客戶端想hdfs傳送增刪改查的要求的元資料的。
2、secondary namenode是儲存namenode的元資料的,防止namenode宕機產生的資料丟失。
3、一條元資料打大小是150byte,namenode的儲存空間大約是128G,secondary namenode的記憶體會稍微大一些。
4、因為這樣的記憶體機制,所以hdfs不適合儲存大量小資料,使用效率較低。

a、記憶體中有一份完整的元資料(記憶體meta data)
b、磁碟中有一份完整的元資料映象(fsimage)檔案(在namenode的工作目錄中)
c、用於銜接記憶體meta data和持久化元資料映象fsimage之間的操作日誌(edits檔案)

5、每隔一段時間,secondary namenode將namenode上積累的edits(日誌檔案)和一個最新的fsimage下載到本地,並載入騷記憶體進行merge(這個是checkpoint)
6、要是namenode掛了,secondary namenode是不能夠當作namenode進行使用的,因為secondary namenode中沒有元資料更新機制。
7、因為namenode和secondary namenode之間的資訊交換不是實時的,所以在namenode宕機的時候也會有資料丟失,不過可以修復大量的資料。