1. 程式人生 > >8、【華為HCIE-Storage】--硬件架構

8、【華為HCIE-Storage】--硬件架構

HCIE storage hostman

------------------------------------重要說明------------------------------------

以下部分內容來網絡,部分自華為存儲官方教材

具體教材內容請移步華為存儲官網進行教材下載

網絡引用內容無法找到原創,如有侵權請通知

------------------------------------重要說明------------------------------------


① 軟件框架

技術分享圖片

② IP Scale-out(IP橫向擴展,中低端存儲)

Scale-up:傳統縱向擴展架構,即利用現有存儲系統,通過不斷增加存儲器件來滿足用戶日益增長的需求;

Scale-out:橫向擴展架構,升級通常是以節點為單位,通過擴展更多的控制器來滿足用戶數據增長的需求;

技術分享圖片

使用IP Scale-out,需要增加硬件,需要Smart-IO模塊

技術分享圖片

③ Smart Matrix(18000系列功能,高端存儲)

技術分享圖片

技術分享圖片

OceanStor 18000 V3高端存儲采用SmartMatrix 2.0增強智能交換矩陣, 4個控制器可同時集成到1個控制框內,單框內控制器冗余度由以往的1+1冗余提升至1+3冗余。事實上,單引擎不僅僅可容忍雙控制器失效,甚至能容忍4個控制器中的3個失效。原因如下:

1、單個引擎內的4個控制器采用PCIE 3.0無源背板全互連架構設計,每個控制

器都內嵌PCIE交換芯片,實現

4控制器之間的高速互聯。

2SmartMatrix 2.0融合了Cache持續鏡像技術,打破了傳統存儲系統只能容忍

單個控制器故障的限制。當某個控制器故障時, Cache持續鏡像技術會將故障控

制器的寫cache數據重新鏡像到其它控制器,始終保持系統內寫cache數據的冗余

4個控制器的Cache數據在任一時間均有備份。

3SAS 3.0後端全互連技術支持同一控制框內4個控制器可以直接訪問同一硬盤

,而且每個控制器到同一硬盤都有兩條互為冗余的連接,當其中一條連接故障時

,數據可以自動切換到另一條連接上,相比傳統的單路徑方案,節省了大量的控

制器資源及控制器間數據傳輸帶寬。

如上這些技術,構成了SmartMatrix 2.0

架構的核心部分,也正是這些技術,幫助華為新高端存儲構築了超凡的可靠性,能夠讓單控制框在僅剩一個控制器的惡劣情況下依然保證用戶業務連續性。


技術分享圖片

無源器件用來進行信號傳輸需能(電)源的器件叫有源器件,無需能(電)源的器件就是無源器件。

如果電子元器件工作時,其內部沒有任何形式的電源,則這種器件叫做無源器件。

無源器件有兩個基本特點:

1)自身或消耗電能,或把電能轉變為不同形式的其他能量。

2)只需輸入信號,不需要外加電源就能正常工作。

有源器件有兩個基本特點:

1)自身也消耗電能。

2)除了輸入信號外,還必須要有外加電源才可以正常工作。

引擎中4個控制器直接通過機框背板的PCIe 3.0高速通道全互聯,引擎內互聯帶寬高達128GB/s(見下面示意圖,每條PCIe3.0鏈路有效帶寬可達2GB/s2GB/s*16*2+2GB/s*8*4=128GB/s)

技術分享圖片

技術分享圖片

④ Oceanstor 5300/5500 V3

技術分享圖片

技術分享圖片

技術分享圖片

2U 25盤位控制框的硬盤槽位從左到右,按0~24進行編號,保險箱盤位於0~3號槽位

2U 12盤位控制框的硬盤槽位從左到右,從上到下,按0~11進行編號,保險箱盤位於0~3號槽位。

保險箱中的內容:需要掉電保護的Cache數據, OceanStor OS 系統數據,以及系統配信息。註意,保險箱只有部分內容用於保存保險箱內容,且這部分空間對用戶不可,除了客戶不可見的這部分空間,其余部分仍然可以向用戶提供業務空間。

為了提高寫數據的性能,我們可以為LUN設置回寫策略。也就是當數據寫入到系統的緩存(即Cache)中,就向主機返回寫成功,而不是等到數據真正寫入到硬盤中。這樣能大大提高對主機的響應速度,提高性能。

但是這種處理方式,在系統異常掉電時,Cache作為一種易失性存儲,緩存的數據也會丟失。而這對於存儲系統來說,是不能接受的。因此, OceanStor V3控制框中集成了備用電源,稱為BBU (Backup Battery Unit),可以在系統異常掉電時,確保Cache中的數據可以寫入到硬盤中。但是考慮到BBU的價格較高,電量有限,只能對控制框進行供電,因此這種情況下, Cache中的 數據不會寫入到LUN所在的硬盤上,而是統一寫入到控制框上專門保留的硬盤空間中。這部分硬盤空間即在保險箱盤中。

⑤ Oceanstor 5600/5800 V3

技術分享圖片

5600 V3的BBU模塊位於0號和3號槽位, 5800 V3的BBU模塊位於0、 1、 3號槽位,其余槽位為空(安裝假面板)。 BBU模塊從左到右編號為0,1,2,3。

l 打開控制器面板卡扣,每個控制器包含三個風扇模塊。

技術分享圖片

按照從左到右的順序, 3U控制框接口模塊槽位號依次是B0、 B1、 B2、 B3、 B4、 B5、 B6、 B7、 A7、 A6、 A5、 A4、 A3、 A2、 A1、 A0。 其中A0、 A1、 A2、 A3、 A4、 A5、 A6、 A7是屬於控制器A的接口模塊槽位號, B0、 B1、 B2、 B3、 B4、 B5、 B6、 B7是屬於控制器B的接口模塊槽位號。

技術分享圖片

用於管理維護:管理模塊(必選)。

用於級聯硬盤框: 12Gb SAS級聯模塊(必選)。

用於連接應用服務器: 16Gb FC接口模塊、 8Gb FC接口模塊、 10Gb FCoE接口模塊( 2端口)、 10Gb TOE接口模塊、 10Gb FCoE接口模塊( 4端口)和GE電接口模塊(可選,至少有一種)。

⑥ Oceanstor 6800/6900 V3


技術分享圖片

控制框采用部件模塊化設計,主要由系統插框、控制器、 BBU模塊、電源模塊、管理模塊和接口模塊組成。

打開控制器面板卡扣,每個控制器包含三個風扇模塊。

BBU模塊從左到右編號為0,1,2,3

控制器編號順序如圖。


技術分享圖片

按照從左到右的順序, 6U控制框接口模塊槽位號依次是L0到L5、 R5到R0,按照從上到下的順序上方的槽位號為IOM0,下方的槽位號為IOM1。

其中R5IOM0到R0IOM0是屬於控制器A的接口模塊槽位號, L0IOM0到L5IOM0是屬於控制器B的接口模塊槽位號, R5IOM1到R0IOM1是屬於控制器C的接口模塊槽位號,L0IOM0到L5IOM1是屬於控制器D的接口模塊槽位號。

A、 B控制器的各個對應接口模塊槽位需保持接口模塊類型一致, C、 D控制器的各個對應接口模塊槽位也需保持接口模塊類型一致。 例如在A控制器R2IOM0號槽位上,分配一個10Gb TOE接口模塊,對於B控制器L2IOM0號槽位上也需要分配10Gb TOE接口模塊。

相同類型的接口模塊需依次放置。

放置完接口模塊後,需要在剩余的接口模塊槽位上放置接口模塊假面板。

技術分享圖片

用於管理維護:管理模塊(必選)。

用於級聯硬盤框: 12Gb SAS級聯模塊(必選)。

用於連接應用服務器: 16Gb FC接口模塊、 8Gb FC接口模塊、 10Gb FCoE接口模塊( 2端口)、 10Gb TOE接口模塊、 10Gb FCoE接口模塊( 4端口)和GE電接口模塊(可選,至少有一種)。

管理模塊的管理網口1和管理網口2暫時未啟用,在日後多控互連場景時使用。

⑦ 普通硬盤框


技術分享圖片

⑧ 高密硬盤框

技術分享圖片

存儲密度:隨著存儲的廣泛應用,存儲設備的空間占用越來越受到客戶的重視,尤其是磁盤框,存儲設備占用的空間主要是磁盤框占用的。高密框的存儲密度是傳統磁盤框的23倍。

運營成本:耗電量、單位空間利用率、單盤成本都是用戶關心的運營成本。這部分節省的產品無疑將受到用戶的青睞。

高密度硬盤框僅適用於3.5英寸硬盤。且通常是容量從1 TB起的NL-SAS硬盤。這使得高密硬盤框至少可以容納75 TB的硬盤裸容量。隨著硬盤容量不斷增大,由高密硬盤框提供的硬盤容量將是巨大的。

⑨ IO模塊


技術分享圖片

用於級聯硬盤框: 12Gb SAS級聯模塊(必選)。

用於連接應用服務器: 16Gb FC接口模塊、 8Gb FC接口模塊、 10Gb FCoE接口模塊( 4端口)、 10Gb TOE接口模塊、 GE電接口模塊、 56GB IB接口模塊, Smart IO模塊(可選,至少有一種)。是應用服務器與存儲系統的業務接口,用於接收應用服務器發出的數據交換命令。當連接的設備傳輸速率低於端口速率且設置為自適應時,端口將自動適應傳輸速率,以保證數據傳輸通道的連通性和數據傳輸速率的一致性;當手動設置速率時,如果速率不一致,則會導致連接中斷。

SmartIO接口模塊主要用於存儲設備與應用服務器之間的連接,支持16Gb FC8Gb FC10Gb FCoE三種光模塊。也可以用於擴展控制框,此時要按照10GE 光模塊(此時有槽位限制)

⑩ Smart IO融合接口卡


技術分享圖片

提供4端口16Gb/8Gb FC10Gb iSCSI10Gb FCoE,可用作存儲Target端口連接主機,也可用作ScaleOut端口擴展。

整卡可工作在FCFCoE兩種模式下,可以從管理界面(ISM/CLI)上進行模式切換(4個口同時生效)。切換完成之後需要更換對應模式光模塊才能使用。端口指示燈顏色可指示當前工作模式(見左圖示)。默認工作模式為FCFCoE模式需要單獨配置才可以使用。

Smart IO卡支持16G/8G/10G三種光模塊,默認不帶光模塊,需選配。

當接口模塊插在特定槽位上時(5300/5500 V3IOM1槽位, 5600/5800/6800/69003號槽位),默認自動配置為ScaleOut端口,提供4個傳輸速率為10Gbit/s的以太網端口,工作協議為iWarp RDMA,用於與其他V3控制器ScaleOut連接,完成2~8控直連或交換橫向擴展組網功能。

當插在ScaleOut槽位時可通過ISM/CLI管理界面配置三種工作模式(FCFCoEScaleOut),允許在ScaleOut擴展口與前端業務口之間切換。

可配套所有V3控制框。

11 板載Smart IO接口卡

技術分享圖片

板載4端口16Gb/8Gb FC10Gb FCoE(暫不支持10Gb 以太網模式),可用作存儲Target端口連接主機,此模塊不支持用來Scale-out組網。

可工作在FCFCoE兩種模式下,可以從管理界面(ISM/CLI)上進行模式切換(4口同時生效)。切換完成之後需要更換對應模式光模塊才能使用。端口指示燈顏色可指示當前工作模式(見上圖示)。默認工作模式為FCFCoE模式需要單獨配置才可以使用。

Smart IO卡支持16G/8G/10G三種光模塊,默認不帶光模塊,需選配。

此模塊現場可不插拔,只配套5500 V3

12 18500/18800/18800F

技術分享圖片

l 系統櫃0

的硬件包括硬盤框、 SVP、 KVM、引擎,其中4U硬盤框最多可配置8個, 2U硬盤框最多可配置16個。

l 系統櫃1

硬件包括硬盤框、數據交換機和引擎,其中數據交換機必須配置2個, 4U硬盤框最多可配置8個, 2U硬盤框最多可配置16個。

l 系統櫃2至系統櫃7

包括硬盤框和引擎, 4U硬盤框最多可配置8個, 2U硬盤框最多可配置17個。

任何系統櫃都可以混合使用2U硬盤框和4U硬盤框,但必須遵循2U硬盤框在上半機櫃、4U硬盤框在下半機櫃的擺放原則,其中4U硬盤框最多配置4個, 2U硬盤框最多配置8個。

如果系統櫃所有硬盤框均為4U硬盤框,則可以配置硬盤櫃。

OceanStor 18800F只支持2.5寸SSD盤和2U硬盤框,不支持4U SAS硬盤框、不支持硬盤櫃。

13 SVP & KVM

l SVP

是Oceanstor高端存儲系統管理、配置、維護等的核心部件。其上安裝了Oceanstor高端存儲所需的維護、管理等工具,可以在本地或遠程輕松完成全套的管理、配置、鑒權等一系列工作。

l KVM

具有鍵盤、LCD顯示屏和鼠標接口。用戶通過KVM面板上的相關按鈕或按鍵可完成顯示切換、通道標識設置、保護密碼設置等操作。


8、【華為HCIE-Storage】--硬件架構