1. 程式人生 > >17、【華為HCIE-Storage】--Smart Tier

17、【華為HCIE-Storage】--Smart Tier

HCIE storage hostman

------------------------------------重要說明------------------------------------

以下部分內容來網絡,部分自華為存儲官方教材

具體教材內容請移步華為存儲官網進行教材下載

網絡引用內容無法找到原創,如有侵權請通知

------------------------------------重要說明------------------------------------

Smart Tier動態分級存儲特性(簡稱Smart Tier),自動將不同活躍度的數據和不同特點的存儲介質動態匹配,提高存儲系統性能並降低用戶成本;

由於硬盤技術的進步,存儲系統支持的存儲介質類型和數量已顯著增加。不同存儲介質在存儲成本和存儲性能方面的差異很大,這導致用戶難以在存儲成本和存儲性能之間權衡:

l SSD硬盤的響應時間很短,每單位存儲請求處理成本很低,但每單位存儲容量成本很高。

l NL-SAS硬盤每單位存儲容量成本較低,但響應時間很長且每單位存儲請求處理成本很高。

l SAS硬盤介於以上兩者之間。

智能數據分級特性能自動將不同活躍度的數據和不同特點的存儲介質動態匹配,提高存儲系統性能並降低用戶成本。

------------------------------------重要說明------------------------------------

以下部分內容來網絡,部分自華為存儲官方教材

具體教材內容請移步華為存儲官網進行教材下載

網絡引用內容無法找到原創,如有侵權請通知

------------------------------------重要說明------------------------------------


①  相關概念

l 存儲層

在同一存儲池中,存儲層是相同性能的存儲介質集合。

SmartTier將不同存儲介質按性能高低劃分為三個存儲層,由高至低分別是高性能層、性能層和容量層。

每個存儲層分別使用相同的硬盤類型和RAID策略。

l 存儲池

存儲池是一個或多個存儲層的邏輯組合,最多可支持三個級別的存儲層。

存儲池包含的硬盤類型決定其可以創建的存儲層。

由單一硬盤類型組成的存儲池無法創建不同存儲層,因此不能應用SmartTier進行智能化數據存儲管理。

l 數據遷移粒度

SmartTier將LUN數據按照一定粒度劃分,該粒度被稱為“數據遷移粒度”或“數據塊”。數據遷移粒度在創建存儲池時設置,且設置後不可更改。

l

初始容量分配

創建LUN時,可以指定存儲空間被分配到的存儲層。

②  原理概述

當存儲池中存在兩種或以上的硬盤類型時,用戶可以應用SmartTier特性充分利用存儲池中的每個存儲層。數據遷移過程中,存儲池以數據塊為單位識別數據活躍度並將整個數據塊遷移至其他存儲層。

存儲系統經歷I/O監控、數據排布分析、數據遷移三個階段實現SmartTier


技術分享圖片

1、Smart Tier統計和分析數據的活躍度,將不同活躍度的數據和不同特點的存儲介質動態匹配;

l I/O監控階段由存儲系統的I/O監控模塊完成。

存儲系統根據兩個數據塊的活躍度來判斷一個數據塊比另一個更熱或更冷。每個數據塊的活躍度通過統計數據塊的讀寫訪問頻率和I/O比例得出。存儲系統提供數據塊活躍度的加權累計值。作為實時監控任務,所有數據塊都會被持續統計。

2、Smart Tier通過數據遷移將活躍度高的繁忙數據遷移至具有更高性能的存儲介質(如SSD硬盤),將活躍度低的空閑數據遷移至具有更大容量且更低容量成本的存儲介質(如NL-SAS硬盤);

l 數據排布分析階段由存儲系統的數據排布分析模塊完成。

數據排布分析階段以I/O監控模塊生成的每個數據塊的統計信息作為輸入,根據存儲池中各個存儲層的容量,系統按照數據塊的熱度確定出每個存儲層放置數據塊的I/O計數閾值(確定閾值時,按照熱度最高的數據塊放在最高性能層級的原則進行)。對大於閾值的數據塊進行排序,選出最熱數據塊優先進行遷移。數據排布分析會對存儲池中的每個數據塊排名,排名由高至低,從同一個存儲池中的最熱數據塊開始,直到最冷數據塊(排名僅在同一個存儲池中進行)。 SmartTier在數據遷移之前根據最近一次數據排布分析結果決定數據塊的遷移方向。

3、Smart Tier的統計、分析和遷移活動基於Smart Tier的實現策略和數據的性能要求。在統計、分析、遷移活動期間,不會對現有業務連續性和數據可用性造成影響。

l 數據遷移階段由存儲系統的數據遷移模塊完成。

SmartTier根據數據排布分析階段對數據塊的排名結果和數據遷移策略實施數據遷移,將排名高的數據塊遷移至較高存儲層(通常是高性能層或性能層),將排名低的數據塊遷移至較低存儲層(通常是性能層或容量層)

技術分享圖片

Smart Tier的原理就是在存儲池中創建LUN後,隨著業務的讀寫, LUN上的數據可以根據數據的活躍度,自動調整,遷移到存儲池中的不同存儲層。此外,管理員也可以根據自己對數據活躍程度的預估,手動指定將數據優先存放於那一層。

技術分享圖片

首先,通過I/O監控,來統計每個數據塊的活躍度計數。這裏的數據塊,是劃分LUN數據大小的粒度,即extent,它是在存儲池中申請空間、釋放空間、遷移數據的最小單位,所以又稱為 “數據遷移粒度”。

然後,通過數據排布分析,來對每個數據塊的活躍度計數進行排序。

最後,就可以根據數據排布分析的排名結果和管理員指定的數據遷移策略實施數據遷移。

技術分享圖片

註意:當存儲池中的剩余容量小於min(存儲池總容量*10%, 105GB)時,存儲池中的數據遷移活動將會停止。其中, min(存儲池總容量*10%, 105GB)表示取存儲池總容量*10%和105GB二者的較小值。

③  存儲位置變化過程

技術分享圖片

l 初始容量分配

存儲系統根據初始容量分配策略,將新寫入的數據分配在相應存儲層。例如,初始容量分配策略為優先從性能層分配,則存儲系統將新寫入的數據都分配在性能層,例如上圖中的A1~A6。初始容量分配策略包括四類:自動分配、優先從高性能層分配、優先從性能層分配、優先從容量層分配。如果策略為自動分配,則存儲系統依次按照性能層、容量層、高性能層將新寫入數據分配在存儲池中。

l 數據遷移

隨著數據生命周期的推移, A1~A6的活躍度會發生變化。存儲系統提供數據塊活躍度的加權累積值,對每個數據塊的活躍度進行排名,根據排名結果和數據遷移策略實施遷移。例如,上圖中活躍度高的A1、 A2被向上遷移至高性能層,活躍度低的A5、 A6被向下遷移至容量層,此時A1、 A2、 A5已完成遷移, A6還在遷移過程中。

l 新數據寫入

正在進行的數據遷移不會影響新數據的寫入。例如,上圖中新寫入的數據A7~A10,仍按照優先從性能層分配的初始容量分配策略被分配至性能層,此時, A6也已完成遷移至容量層。

l 連續運行

隨著數據生命周期的推移, A1~A10的活躍度持續發生變化,同時新寫入的數據A11~A14被分配至性能層。存儲系統持續對A1~A14進行智能化數據存放管理。

④  配置流程

存儲系統內SmartTier的配置流程包括檢查License文件、基於存儲系統級別配置SmartTier、基於存儲池級別配置SmartTier和基於LUN級別配置SmartTier。

技術分享圖片

a. 檢查 License 文件

步驟1 登錄DeviceManager。

步驟2 選擇“ 設置 > License管理”。

步驟3 瀏覽已激活License信息。

1. 在左側導航中,選擇“已激活License”節點。

2. 在中間信息展示區,瀏覽存儲設備已激活的License文件信息。

b. 基於存儲系統級別的配置

基於存儲系統級別的配置主要為配置數據遷移速率,其作用於存儲系統中所有存儲池。

數據遷移速率用於控制存儲層之間數據遷移的處理進度。不論遷移速率設置為哪一種, SmartTier都會根據當前業務負載,在上限範圍內動態調整遷移速率,確保數據遷移不會對當前業務造成明顯影響。

數據遷移速率的作用範圍為所有存儲池,包括“高”、“中”、“低”,默認值是“低”。數據遷移速率設置後可以更改。

當數據遷移速率為“高”時, SmartTier將以盡可能快的速度遷移盡可能多的數據。由於數據遷移會產生一定的後端開銷,這可能使I/O響應時間變長,具體取決於需要遷移的數據量。但是,各個存儲層之間的數據遷移將會在較短時間內完成。

當數據遷移速率為“低”時,不會影響I/O響應時間,但完成數據遷移可能需要較長時間。

技術分享圖片

c. 基於存儲池級別的配置

基於存儲池級別的配置主要包括配置數據遷移粒度、配置RAID策略、開啟I/O監控、啟用預測分析和配置數據遷移計劃等,以上配置作用於單個存儲池。

1) 配置 RAID 策略和數據遷移粒度

在創建存儲池時,您可以配置數據遷移粒度和RAID策略,且配置後不可更改。

l 數據遷移粒度

SmartTier將存儲池數據按照一定粒度劃分,該粒度被稱為“數據遷移粒度”或“數據塊”。數據遷移過程中,存儲池以數據塊為單位識別數據活躍度並將整個數據塊遷移至其他存儲層。

數據遷移粒度在創建存儲池時設置,且設置後不可更改,默認為4MB,建議與默認設置相同。對於需要更大數據遷移粒度的業務請聯系技術支持工程師配置。

數據遷移粒度越小,存儲資源的使用效率越高,冷數據跟隨熱數據或最活躍數據進行遷移並毫無益處地耗費存儲資源的可能性也越小。但是,這並非意味著較小的數據遷移粒度總是適合業務環境,例如流媒體業務、視頻監控業務適合更大的數據遷移粒度。

l RAID策略

基於SmartTier的應用,需要為每個存儲層設置RAID策略。 SmartTier的應用使存儲池中LUN的數據分布在使用不同硬盤類型和不同RAID級別的多個存儲層。 LUN數據的性能將不是僅僅基於其所在存儲池性能,而是首先基於最低級別的存儲層性能。

RAID策略在創建存儲池或新增存儲層時設置,且設置後不可更改。

作為最佳做法,推薦在高性能層設置RAID 10。 RAID 10具有較快的讀寫性能,與高性能層SSD硬盤的特點相適應。此外,推薦在性能層設置RAID 5,在容量層設置RAID6。通常RAID 5順序寫性能比RAID 10更好,而讀性能低於RAID 10。 RAID 6具有雙重數據校驗功能,適合重構時間較長的NL-SAS硬盤。

l 步驟1 進入存儲池管理界面。

1. 在右側導航欄上,單擊 。系統進入“資源分配”界面。

2. 在資源分配管理界面中,單擊“存儲池”。系統進入“存儲池”管理界面。

l 步驟2 設置RAID策略和數據遷移粒度。

1. 在存儲池管理界面中,單擊“創建”。進入“創建存儲池”向導。

2. 在“創建存儲池”對話框中,選擇組成存儲池共享的硬盤類型和RAID策略。

3. 在“創建存儲池”對話框中,單擊“高級”。進入“高級屬性設置”對話框。

4. 在“高級屬性設置”對話框中設置“數據遷移粒度”。

5. 單擊“確定”。完成數據遷移粒度設置。

2) 開啟 I/O 監控

開啟I/O監控是各個存儲層之間數據遷移和查看存儲層容量策略模型的前提條件,並能指定監控日期和時間範圍,以便進行數據排布分析。

l 步驟1 進入存儲池管理界面。

1. 在右側導航欄上,單擊 。系統進入“資源分配”界面。

2. 在資源分配管理界面中,單擊“存儲池”。系統進入“存儲池”管理界面。

l 步驟2 開啟I/O監控。

1. 在存儲池管理界面上,選擇需要監控的存儲池,單擊“屬性”,彈出“存儲池屬性”對話框。

2. 在存儲池屬性對話框中,選擇“ SmartTier策略”頁簽。

3. 在“業務監控時段”區域框中,選擇“開啟I/O監控”,並根據需要設置I/O監控時段。

4. 單擊“確定”,成功開啟I/O監控。

3) 啟用預測分析

存儲系統提供的預測分析功能,能夠檢查存儲池的性能數據,分析LUN級別的業務負載對稱性,以兼顧性能和成本的方式,提供最佳的存儲層容量策略模型。用戶可以根據存儲層容量策略模型調整各個存儲層的硬盤配置。

最理想的存儲層容量策略是各個存儲層的存儲容量比例為1: 1: 1,因為該策略允許將各個存儲層100%的數據升級或降級至其他任一存儲層。但在實際應用中該策略通常並不合適,由於某些原因可能需要限制訪問某個特定存儲層。

例如,為防止單一應用程序消耗所有SSD硬盤資源,在存儲池中限制高性能層存儲容量可能是合適的。這種情況下,推薦使用包含較小比例的高性能層存儲容量策略。同樣,某些應用程序短時間內會進入非活動狀態,存儲系統將其數據識別為冷數據而遷移至容量層。當這些應用程序再次處於活動狀態時,可能只能使用最低級別的存儲層容量。對於此類應用程序,推薦使用包含較小比例的容量層存儲容量策略。確定最佳的存儲層容量策略的方法是檢查存儲池的業務負載對稱性。業務負載不對稱定義了隨著時間推移數據使用的不對稱,表示存儲池上占較小百分比的數據可能正在為大多數業務負載提供服務。

l 步驟1 進入存儲池管理界面。

1. 在右側導航欄上,單擊 。系統進入“資源分配”界面。

2. 在資源分配管理界面中,單擊“存儲池”。系統進入“存儲池”管理界面。

l 步驟2 啟用預測分析。

1. 在存儲池管理界面上,選擇需要監控的存儲池,單擊“屬性”,彈出“存儲池屬性”對話框。

2. 在存儲池屬性對話框中,選擇“預測分析”頁簽。

3. 在“預測分析”頁面,選擇“啟用”。

4. 單擊“確定”,成功啟用預測分析功能。

4) 配置數據遷移計劃

數據遷移計劃用於指定啟動數據遷移的方式。用戶可以根據業務需要調整數據遷移方式。

l 手動方式

當重新配置存儲池時,例如新增加一個存儲層,或當活躍數據隨時間不斷變化且在較長時間內在各個存儲層均衡分布時,用戶可能需要手動啟動數據遷移。手動啟動數據遷移時, SmartTier首先對當前I/O監控數據進行數據排布分析,並根據該分析結果決定數據塊的遷移方向。

l 定時方式

當需要在預先設置的時間段進行數據遷移時,使用此方式。

手動方式或定時方式下, SmartTier數據遷移均作為低優先級任務在存儲系統後臺運行。

不論使用手動方式或定時方式,數據遷移時間段內(例如數據遷移時間為淩晨01:00~05:00,持續4個小時) SmartTier可能發生下一次的每一小時一次的數據排布分析(例如淩晨02:00),且此時SmartTier根據上一次數據排布分析結果(淩晨01:00)正在進行的數據遷移未全部完成,該下一次數據排布分析會將未完成遷移的數據塊與其他數據塊一起重新排名, SmartTier將根據該最新排名繼續進行數據遷移。

步驟1 進入存儲池管理界面。

1. 在右側導航欄上,單擊 。系統進入“資源分配”界面。

2. 在資源分配管理界面中,單擊“存儲池”。系統進入“存儲池”管理界面。

步驟2 設置數據遷移計劃。

1. 在存儲池管理界面上,選擇需要設置數據遷移計劃的存儲池,單擊“屬性”,彈出“存儲池屬性”對話框。

2. 在存儲池屬性對話框中,選擇“ SmartTier策略”頁簽。

3. 在“數據遷移計劃”區域框中,選擇數據遷移的觸發模式為“手動”或“定時”。其中“定時”模式下,還需要設置啟用數據遷移的時間段。

4. 單擊“確定”,成功設置數據遷移計劃。

d. 基於 LUN 級別的配置

1) 配置初始容量分配策略

l 自動分配

表示存儲系統依次按照性能層、容量層、高性能層為LUN分配存儲空間。

l 優先從高性能層分配

表示創建LUN時,存儲空間會直接分配至高性能層,只有當高性能層無可用容量時,才會分配至其他存儲層。適用於大規模數據寫入存儲池或LUN對性能要求較高的情況,同時其數據遷移策略適合自動遷移或不遷移。當高性能層存儲容量被占滿同時性能層和容量層的存儲容量開始使用時,可以停止寫入並以手動方式啟動SmartTier數據遷移。數據塊將在各個存儲層之間進行合理遷移,高性能層存儲容量也會得到一定釋放。持續這樣的叠代過程,當所有數據都寫入存儲池後,可以根據LUN的性能要求和業務環境修改LUN的SmartTier策略。

l 優先從性能層分配

表示創建LUN時,存儲空間會直接分配至性能層,只有當性能層無可用容量時,才會分配至其他存儲層。適用於對性能要求較高的LUN,同時其SmartTier策略適合向高性能層遷移。

l 優先從容量層分配

表示創建LUN時,存儲空間會直接分配至容量層,只有當容量層無可用容量時,才會分配至其他存儲層。適用於對性能要求不敏感的LUN,同時其SmartTier策略適合優先向低性能層遷移。

步驟1 進入存儲池管理界面。

1. 在右側導航欄上,單擊 。系統進入“資源分配”界面。

2. 在資源分配管理界面中,單擊“存儲池”。系統進入“存儲池”管理界面。

步驟2 設置初始容量分配策略。

1. 在存儲池管理界面,選擇某個存儲池,單擊“更多 > 創建LUN”。彈出“創建LUN”對話框。

2. 在“創建LUN”對話框中,單擊“高級”。進入LUN高級屬性設置界面。

3. 在“屬性”頁簽中,設置該LUN的容量初始分配策略。

4. 單擊“確定”。完成初始容量策略配置。

2) 配置 SmartTier 策略

技術分享圖片

l 步驟1 進入存儲池管理界面。

1. 在右側導航欄上,單擊 。系統進入“資源分配”界面。

2. 在資源分配管理界面中,單擊“存儲池”。系統進入“存儲池”管理界面。

l 步驟2 設置SmartTier策略。

1. 在存儲池管理界面,選擇某個存儲池,“ LUN”區域框將顯示已創建在該存儲池中的所有LUN。

2. 選中某個LUN,單擊“屬性”。進入LUN屬性界面。

3. 在“ SmartTier”頁簽中,設置該LUN的數據遷移策略。

4. 單擊“確定”。完成數據遷移策略配置。



17、【華為HCIE-Storage】--Smart Tier