HDFS是一個master/slave結構的服務，其中NameNode是master，一般只在一臺節點上啟動；DataNode是slave，一般每臺節點都會啟動一個；DataNode不斷地主動向NameNode發送心跳、匯報block信息等；為了對NameNode進行備份，還會有一個SecondaryNameNode

HDFS各類操作

1. 創建目錄
   
   client與namenode直接交互，在INode中創建目錄節點，並將操作寫入edit log中即可，全程不需要datanode參與。
2. 刪除文件
   
   客戶端與namenode交互刪除文件，namenode只是標記要刪除，但不會主動通知datanode；
   
   當對應的datanode向namenode發送心跳時，namnode會把刪除指令放到返回值裏；
   所以一般刪除不是立即刪除，而是有一定的延遲。
3. 讀文件
   
   client先與namenode交互，通過getBlockLocatitions方法獲取到文件block所在節點，然後client再與datanode交互獲取具體數據；
   block可能不是一次全部返回，可能需要多次調用getBlockLocatitions。
   客戶端讀數據時如果DN發生故障，則會接著讀取下一個數據塊兒，並記錄這個出故障的節點；讀數據返回中包含了數據的校驗和，如果發現錯誤，會報告給NN，並從其它副本讀取。
4. 寫文件
   
   client先與NN交互，在NN命名空間中創建一個新文件；
   
   第二步client真正寫入之前再跟NN交互獲取要在哪兒寫，addBlock返回一個LocateBlock對象，包含數據庫標誌和版本號；
   LocateBlock還提供了跟DN交互的數據流管道，client寫入到管道中的數據被分為一個個的文件包，這些被放入到一個輸出隊列中；
   第三步client跟DN交互寫入數據，第一個節點寫完，由第一個DN向第二個DN寫，寫完還要返回ack確認信息；如果收到ack確認信息，則將這個文件包從隊列中刪除；
   寫完一個數據塊之後，DN會跟NN交互，向NN提交這個數據塊。

對於某個DN發生故障的情況：
1，先關閉數據流通道，正在寫的數據包由於沒有收到ack，不會從隊列中刪除，數據不會丟失；

5. SecNameNode備份
   hdfs的元數據保存在Inode對象中，但是namenode是一個單點master，如果數據都在內存則無法進行故障恢復。
   hdfs有一個檢查點機制，會把某個時間點內存中的Inode持久化到fsimage文件中，同時對每個操作記錄寫入到edit log中。
   SecNameNode則負責把namenode上的fsimage和edit log合並。
   
   1，SecNN不斷地獲取NN上editlog的大小，如果太小則不做處理；
   2，如果editlog較大，則SecNN通知NN發起一次檢查點操作；
   3，NN會產出一個新的editlog——edit.new，此後對元數據的操作都寫入到edit.new文件中；
   4，而SecNN則通過http接口分別將NN上的fsimage和editlog拉取到SecNN節點上，並在內存中合並，並產出文件fsimage.ckpt;
   5，SecNN再主動通知NN鏡像已合並完成；
   6，NN通過http接口拉取過來fsimage.ckpt並覆蓋原來的fsimage，最後將edit.new改回edit

HDFS HA

https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/index.html

HDFS原理及架構