1. 程式人生 > >大資料(4)---HDFS工作機制簡述

大資料(4)---HDFS工作機制簡述

一、name node管理元資料

元資料:hdfs的目錄結構以及檔案檔案的塊資訊(塊副本數量,存放位置等)。

Namenode把元資料存在記憶體中,以方便改動,同時也會在某個時間點上面將其寫到磁碟上(fsimage映象檔案)。同時還會把引起元資料變化的操作記錄在edits日誌檔案中。重新啟動或者是服務掛了的時候,也可以從磁碟檔案和日誌檔案中還原資料。

 

 

久而久之edits檔案會越來越大,如果重啟可能會花費很長時間。這個時候就有了Sencondary NameNode,Secondary NameNode定期合併fsimage和edits日誌,把edits日誌檔案大小控制在一個限度下。因為記憶體需求和NameNode差不多,所以一般都是另外配置一臺機器。

Sencondary NameNode整合完畢會將新的fsimages傳回給namenode。這個過程叫做checkpoint。那麼什麼執行這個操作呢。預設的時一個小時,也可以通過引數配置

fs.checkpoint.period 設定checkpoint間隔時間

fs.checkpoint.size 規定edits檔案的最大值,一旦超過這個值則強制checkpoint,不管是否到達最大時間間隔。

dfs.namenode.checkpoint.dir Sencondary NameNode儲存資料的位置

這個過程和redis的混合持久化有點點類似,RDB快照和AOF重放

 

二、讀寫檔案過程

 https://www.w3cschool.cn/hadoop/2myl1p37.html

https://www.w3cschool.cn/hadoop/8rkl1p3a.