1. 程式人生 > >HDFS高可用(HA)機制

HDFS高可用(HA)機制

定義: 解決系統單點故障問題,防止一臺nameNode掛了,就會出現資料丟失等問題。 原理: (1)將資料記載在Qjournal分散式日誌管理系統裡面,活躍的nameNode會定時將資料上傳到Qjournal裡面,Qjournal也會定期將資料放到另一臺不活躍的NameNode裡面跟新,定期進行資料的重新整理這樣就會防止丟失(也是定期重新整理fsimage映象檔案) (2)那麼如果掛了的話,怎麼通知另一臺nameNode去重新啟動服務呢,這裡面就有一個叫做zkfc的控制器,它會根據程序實時監測nameNode的狀態,並且和zookeeper隨時進行互動,如果感覺nameNode掛了,就會通知下一臺nameNode去進行接手 (3)為什麼上面說感覺掛了,因為他根據程序去判斷,有可能有時候沒死,這時候同時啟動兩臺NameNode去管理dateNode就會出現腦裂(系統不協調)的現象,有兩個老大,當然就不協調了,這時候就出現了兩種防止腦裂的方式 SSH KILL(傳送一個殺死的命令)和Shell指令碼。如果傳送ssh kill命令,nameNode沒有反應的話,就使用Shell指令碼殺死,確認殺死後就會啟動下一個nameNode.

這裡寫圖片描述