1. 程式人生 > >39、【華為HCIE-Storage】--對象存儲原理

39、【華為HCIE-Storage】--對象存儲原理

HCIE Storage hostman

------------------------------------重要說明------------------------------------

以下部分內容來網絡,部分自華為存儲官方教材

具體教材內容請移步華為存儲官網進行教材下載

網絡引用內容無法找到原創,如有侵權請通知

------------------------------------重要說明------------------------------------

① 統一命名空間

技術分享圖片

DFS分布式文件系采用全對稱結構, 將所有節點的命名空間整合為統一命名空間, 將整個系統的所有節點的存儲容量組成一個大的虛擬存儲池, 元數據和數據保存在每個節點上, 每個節點都是元數據服務器同時也是數據服務器, 訪問文件數據時DFS文件系統首先定位到文件所歸屬的元數據服務器, 然後通過元數據服務器獲取文件的數據分布, 即獲取文件分布在哪些節點上以及在節點上的具體位置, 再去訪問這些節點完成數據讀寫操作。

支持最大60PB全局命名空間, 用戶不用管理多個命名空間, 從而減輕管理復雜度。 消除多個命名空間, 也消除了多個命名空間帶來的數據孤島。

技術分享圖片

傳統數據存儲方式是將磁盤映射成分塊, 文件系統管理分塊, 並使用元數據來標記分塊使用情況。 對象存儲訪問不關註分塊, 看到的是一個個的對象, 上層使用對象名來訪問。 這種對象系統通常是扁平化的, 區別於文件系統。

虛擬化借鑒了兩種優勢, 一方面把底層以對象方式管理, 簡化了管理方式和元數據開銷;另一方面, 上層在虛擬出的對象基礎上仍然構建成文件系統樹形結構。

② 文件系統的功能和組織

技術分享圖片

③ 元數據

技術分享圖片

元數據,描述數據的數據。由Dentry(目錄項)和Inode(索引節點)組成。Dentry記錄著文件名,上級目錄等信息,形成了樹狀結構;而有關該對象的組織和管理信息主要存放Inode裏面,記錄著對象的KeyID和對象在存儲介質上的位置與信息。

④ 元數據對象數據對象

技術分享圖片

數據對象是由一組stripe(分條)組成,而分條有Erasure Code矩陣運算生成。

對象(Object)是對象存儲系統的基礎單元,包含文件數據以及相關的屬性信息,具有唯一的KeyID,可進行自我管理。由於對象規模僅受KeyID的位數限制,因此擁有著接近無限的擴展能力。

⑤ 元數據的存儲與訪問

技術分享圖片

使用動態子樹方式組織元數據。

將命名空間中的所有元數據按照名字子樹的方式劃分, 每棵名字子樹劃分給一個MDS處理。 一個MDS可以管理若幹棵子樹。

正常處理流程: CA將報文發給任意一個MDS, 該MDS查詢本地動態子樹表, 如果屬於本地MDS處理範圍, 則直接處理; 如果不屬於則將該請求轉交給負責該名字子樹的MDS( 如果無法直接找到, 則轉給最可能負責該名字子樹的MDS) 。

故障遷移:一臺MDS故障後, 其他MDS將分擔故障MDS負責管理的名字子樹。

負載均衡:當MDS數組增減或某個MDS負責的名字子樹訪問過冷/過熱時, 會采用負載均衡策略, 將過熱節點上的名字子樹部分遷移到較冷節點管理。

註意:這裏講的是元數據的緩存, 與元數據實際存放的位置不同。 元數據實際按M+2存放在各節點的硬盤中, 與系統運行時緩存的位置可能並不相同

39、【華為HCIE-Storage】--對象存儲原理