1. 程式人生 > >34、【華為HCIE-Storage】--數據重刪 & 數據壓縮

34、【華為HCIE-Storage】--數據重刪 & 數據壓縮

HCIE Storage hostman

------------------------------------重要說明------------------------------------

以下部分內容來網絡,部分自華為存儲官方教材

具體教材內容請移步華為存儲官網進行教材下載

網絡引用內容無法找到原創,如有侵權請通知

------------------------------------重要說明------------------------------------

SmartDedupe&SmartCompression特性通過刪除重復數據或對業務數據進行壓縮,減少數據冗余,節省存儲空間。

l 重刪數據塊大小:用於指定存儲系統進行重刪的粒度。重刪數據塊的大小與文件系統塊大小一致。根據業務需要,用戶可以在CLI( Command Line Interface)下運行create file_system general命令創建文件系統時設置不同的文件系統塊大小。

l 壓縮數據塊大小:用於指定存儲系統進行壓縮的粒度。存儲系統基於新寫入文件系統的數據塊大小進行智能合並壓縮。

l 定長重刪:重刪過程中,存儲系統按照相同的重刪數據塊大小對文件系統進行重刪。

l 哈希算法:校驗數據塊一致性的方法。通過該方法,可以計算出數據塊的指紋信息(指紋信息是一個固定長度的二進制數值,與人的指紋類似,可以看成是每個數據塊的唯一標識)。當兩個數據塊的指紋信息一致時,存儲系統會認為這些數據塊是重復的。

l 逐字節比較策略:查找重復數據塊時,對哈希算法的補充校驗方法。當采用逐字節比較策略時,存儲系統除了要對比指紋,還需要逐字節比較數據塊中的數據。

l 重刪元數據:用於保存重刪處理相關信息。例如,數據塊的指紋信息,重刪後數據的存放位置等。

① 重復數據刪除

技術分享圖片

1. 存儲系統利用哈希算法計算新寫入數據塊的指紋信息。數據塊的劃分粒度與文件系統塊大小保持一致,且每次重刪處理的數據塊大小保持一致,實現定長重刪。

2. 通過指紋信息對比新寫入數據塊與原有數據塊是否重復。

– 是 => 存儲系統認為新寫入的數據與原有數據重復,刪除該數據塊,並將該數據塊的存儲位置指向原有數據塊的存儲位置。

– 否 => 存儲系統認為新寫入的數據是一個新數據塊,將新數據塊寫入硬盤。

技術分享圖片

② 數據壓縮

存儲系統在進行數據壓縮處理時,會根據用戶設定的壓縮策略進行不同程度的壓縮。存儲系統支持如下兩種壓縮策略:

Fast: Fast策略是系統默認使用的壓縮算法。該算法壓縮速度快,但與Deep策略相比壓縮後空間節省效率低一些。

Deep: Deep策略可以獲得空間節省效率的明顯提升,但壓縮和解壓需要花費更長的時間。

技術分享圖片


34、【華為HCIE-Storage】--數據重刪 & 數據壓縮