1. 程式人生 > >微軟超融合+混合雲:源自Azure技術的超融合架構

微軟超融合+混合雲:源自Azure技術的超融合架構

       微軟Azure上市以來一直受到業界的矚目,除技術一直穩居Gartner魔力象限領導者外,同時營收業績驕人,年增長率基本在100%以上。微軟的雲戰略雖然一直是這幾年重心,但是他並沒有放棄私有云市場,而是利用Azure上成功的技術幫助企業進行資料中心轉型(Transform the Datacenter)。

超融合的核心是軟體定義資料中心

超融合基礎架構稱為Hyper-ConvergedInfrastructureHCI),是在融合架構發展之後新興的軟體定義資料中心基礎架構。超融合將計算和儲存節點融合在一起,利用最新的快閃記憶體技術和網路技術,構建低延遲高IOPS的軟體定義儲存,以及更加高效的計算叢集。超融合架構更加靈活,資源可以隨意縮放,部署和管理更加簡單和統一。正因如此,超融合基礎架構更加接近公有云的技術架構,如微軟就將

Azure最新軟體定義儲存(SDS),軟體定義網路技術(SDN)融入到微軟超融合架構中,同時與Azure公有云一樣,能夠支援多種計算業務場景,如:WindowsLinux的虛擬機器或容器。

超融合基礎架構從2016年起快速發展,一是軟體定義資料中心技術不斷成熟,二是客戶混合雲需求越來越突顯,三是新的硬體技術快速發展。

       微軟超融合具備與Azure一樣的基礎架構,比如WindowsServer 2016資料中心版整合的軟體定義資料中心所有元件,技術源於微軟Azure。微軟剛剛釋出的Azure Stack也採用Windows Server 2016資料中心版的超融合基礎架構。這種軟體定義資料中心最終目標是將計算、網路、儲存、虛擬化,以及硬體資源緊密融合在一起,搭建更簡單,縮放性更強的計算環境。

根據第三方機構資料顯示174%企業相信混合雲環境能夠支撐業務增長;82%企業已經有了混合雲戰略。Gartner2016年初預計,超融合系統當年的增長率為79%,市場規模將從(2016年的)近20億美元增長到2019年的約50億美元,在融合系統市場佔比達24%,並在2020年成為資料中心的主流。微軟在發展公有云Azure同時,一直致力於企業混合雲市場的發展。微軟在201411月釋出了第一代的混合雲平臺產品Cloud Platform System,產品基於Windows Server 2012 R2,System Center 2012 R2Windows Azure Pack構建,整合流程和自動化管理,使用者可獲得與

Azure一樣的簡單使用體驗,支援備份到Azure,通過Azure Site Recover實現快速災難恢復,並整合防病毒安全防護軟體等。在201610月,產品更新為Windows Server 2016平臺和Azure Pack 2.0,並且支援遮蔽的虛擬機器等新的安全技術。同時在20179月釋出Azure Stack,將Azure服務核心私有化的產品,與Azure公有云共享程式碼,API和管理門戶。超融合基礎架構整合混合雲管理軟體是更具靈活性、更高效的IT基礎架構。

       資料中心在從10GbE25GbE快速演進。10GbE網絡卡技術成熟,在虛擬化推動下,萬兆網絡卡和萬兆交換機基本是虛擬化資料中心的標配,同時RDMA技術應用場景越來越多,大大提升了虛擬機器遷移的效率,降低軟體定義儲存的延遲。25GbE網絡卡在2016年上市,2017年許多硬體廠家已經在新發布的伺服器上支援了25GbE網絡卡,支援VXLANNVGRE硬體解除安裝,和RDMARoCE, iWARP)技術。同時25G接入交換機在2017年大量上市,比如支援Open NetworkingDCB100GbE上行等,提高超融合叢集東西向頻寬。

儲存技術飛速發展,傳統SAS機械磁碟技術在效能上已成瓶頸,而TLC 3DNAND技術的發展已經讓SSD的每GB成本非常接近與HDDIOPS一直是衡量儲存效能重要資料,比如IntelP3700:隨機讀取(100% Span) 450,000 IOPS,隨機寫入(100%Span) 175,000 IOPS2。與此同時應用對於儲存延遲要求越來越高,NAND固態盤延遲降低到100微秒,而NVMe將這一數值進一步降低到10微秒。

       微軟S2D軟體定義儲存技術將10GbE/25GbERDMA網路技術和SSD/NVMe/NVDIMM儲存技術高效的結合,構建了高效能低延遲的本地儲存,同時有通過軟體技術實現資料容錯。超融合架構讓儲存和計算靠的更近,讓計算的效率大幅提升。由於架構簡單,不需要專用的儲存網路,還能降低儲存的購買成本。超融合不但未客戶節約了成本,降低了運維的難度,還為客戶輕鬆上雲做好了準備。

如何藉助軟體定義資料中心提升效率?

隨著資料中心的規模越來越大,網路越來越複雜,儲存容量日益增加,應用可用性要求越來越高,無論是雲伺服器提供商還是企業使用者,對軟體定義資料中心(SDDC)的青睞日益明顯。微軟在某些新技術領域屬於倡導者,大家可能並不熟悉,最早的並被廣泛認可的SDN組織ONFOpen Networking Foundation)就是由微軟、谷歌和Facebook聯合發起的(ONF用於定義SDN標準和推動SDN的產業化)。微軟在SDDC概念被提出來之前,便提出了資料中心轉型(Transform the Datacenter)的構想。資料中心轉型和SDDC的目標和技術實現如出一轍,微軟長期實踐著資料中心轉型的目標。截止到2017年微軟Azure全球44個數據中心,資料中心數量已經超過AWSGoogle的總和。百萬級的伺服器數量,提供IaaSPaaSSaaS的各類服務,龐大的資料中心硬朗的外表裡通過雲平臺架構植入了這顆微軟的芯。資料中心設計理念和思路在不斷更新迭代,所使用的軟體技術也不斷推陳出新。微軟不僅在Azure實踐著資料中心轉型的目標,還將最新的技術帶給客戶,幫助客戶實現自有資料中心向混合雲的轉型升級。

20年磨一劍,WindowsServer鍛造出了很好的資料中心基因,尤其在基礎架構層面的影響力,活動目錄,檔案伺服器,組策略等等,以及WindowsServer所支援的龐大使用者群的ExchangeSkype forbusinessSQL Server ……總之,在x86市場佔有絕對優勢的Windows Server一直默默耕耘,緊跟技術發展趨勢,WindowsServer 2008實現了軟體定義計算(Hyper-V伺服器虛擬化)的從01Windows Server 2012實現了SDSSDN的從無到有,WindowsServer 2016實現了容器技術以及SDDC的技術全面升級。在詳細瞭解微軟軟體定義資料中心之前,我們先來簡單回顧在微軟SDDC三個核心技術:軟體定義計算SDC,軟體定義儲存SDS和軟體定義網路SDN的技術發展歷程。

       微軟Hyper-V不斷髮力,從Hyper-V1.0發展到Hyper-V3.0,依靠成熟的功能和完善的技術獲得了不錯的反響。WindowsServer 2008剛釋出就備受關注,一舉進入Gartner伺服器虛擬化高等級象限,充分被分析師和市場所看好。在WindowsServer 2008 R2釋出不久便一個健步越到了虛擬化魔力圖第一象限,在之後幾年時間裡不斷提高市場佔有率,其功能不斷完善和成熟。20152016年,Windows Server伺服器虛擬化憑著不俗的表現穩穩佔據著Gartner魔力象限的第一象限,並且不斷向第一象限更具挑戰性的位置攀升。

       在2016年秋季釋出的Gartner魔力象限裡微軟伺服器虛擬化和VMWare的距離進一步縮小。

雲技術的快速發展衝擊的傳統儲存領域,乙太網技術和儲存介質的發展推動了軟體定義儲存技術進入快車道。2012年,Windows Server 2012引入儲存空間技術,正式涉足軟體定義的儲存領域,支援橫向擴充套件檔案系統,以及最新的SMB3.0SMB Direct(支援RDMA網絡卡),支援重複資料刪除技術等。第二代的SDS增強了儲存層技術,實現冷熱資料自動分層,並支援雙重奇偶校驗的容錯技術。第三代也就是在Windows Server 2016資料中心版整合的功能S2DStorage Space Direct),真正實現計算和儲存的超融合,並且支援多種新儲存介質:NVMeNVDIMM。隨著Windows Server 2016的更新,S2D的功能將不斷增強。

       Windows Server除了正在不斷擴充套件網路能力,為了完善伺服器虛擬化還在和網路硬體廠家就某些技術點展開深度合作,SR-IOVVMQvRSSIPSec任務解除安裝、QoS等虛擬化網路加速技術正逐漸整合在伺服器虛擬化裡。微軟在WindowsServer 2012上第一次開始了SDN技術的嘗試,並聯合Intel、戴爾、BroadcomEmulex等公司共同開發了NVGREOverlay隧道封裝協議,結合RRAS閘道器技術和硬體閘道器技術實現了較為完整的SDN服務。Windows Server 2016 SDN使用了使用更為廣泛的Overlay隧道協議——VXLAN,並同時新增了NFV投資。

微軟SDDC如何降低您的運維成本和複雜度?

微軟軟體定義資料中心,底層為經過認證和測試的標準化伺服器和網路硬體,通過統一管理的平臺將網路、計算和儲存以軟體定義方式實現傳統資料中心的所有功能,這一切技術源於微軟Azure。(如下圖)

1.   增強工作負載移動性,改善網路安全性

傳統的網路基礎架構是死板且複雜的,管理員需要花費大量時間以部署需要對網路進行某些改動的工作負載,並且這一過程非常容易出錯。通過採用軟體定義的網路(SDN)模型進行部署和管理,組織可以實現更快速的縮放並提高敏捷度。使用SDN模型後,每個工作負載和租戶將被部署至一個相互重疊的網路中,通過虛擬化的服務滿足工作負載的需求,例如交換、路由、負載均衡、防火牆,以及其他邊緣服務。因此IT將可以在無須更改物理網路基礎架構的前提下,在本地、Azure雲,以及服務供應商的雲中實現自動化的工作負載部署。SDN還有助於保護防範網路攻擊。IT可以根據威脅向量的不斷變化,動態調整工作負載保護措施,並進行更精確的建模,快速更改網路劃分和所實施的安全策略。

2.   降低儲存成本

在一個高度虛擬化的環境中,底層儲存系統會影響到整個環境的整體效能。傳統手工方式配置的儲存系統,專用複雜的儲存網路,無法符合軟體定義資料中心高度靈活的架構。WindowsServer 2016資料中心版中新增的軟體定義的儲存功能,例如儲存空間直通(Storage SpaceDirect,及S2D)、儲存複製、儲存QoS、儲存分層、快取記憶體以及資料去重等技術,利用多節點實現資料容錯,可通過策略和自動化機制提升資料中心運維效率,降低儲存系統的管理成本。

3.   可信的安全平臺

網路罪犯愈加專業,會通過各種精巧的策略入侵您的資料中心,獲取關鍵的業務資料。使用來自不同供應商的多個工具配置解決方案,這種做法只能造成不必要的安全負擔。在Windows Server 2016資料中心版中,虛擬化平臺內建的安全技術可保護虛擬化計算平臺最基礎的構建塊:虛擬機器。遮蔽的虛擬機器是域控制器、證書伺服器等關鍵業務系統的理想選擇。這些虛擬機器只能執行在指定的硬體上,就算虛擬機器無意外洩或被惡意管理員盜取,其中的資料依然處於加密狀態。憑據防護、裝置防護等其他功能也可以保護虛擬機器中儲存的憑據,阻止惡意程式的執行。

IT 部門需要努力確保黑客無法進入企業網路。WindowsServer 2016內建了新增的網路功能虛擬化防火牆,可以幫助組織將防火牆與軟體定義的網路環境全面整合,並將防火牆自身設定的自動化和編排納入計算環境的變更中,藉此提升安全性和運維效率。

4.   豐富的基礎架構管理解決方案。

針對不同運維模式,Microsoft提供了種類豐富的基礎架構管理解決方案。除了WindowsServer提供的用於自動化管理的PowerShell工具,微軟還有由來已久的成熟方案SystemCenterSCVMM除了可以對SDSSDN進行部署和管理,除此以外,System Center還提供了監控、自動化編排、備份和服務管理等元件。同時Windows Azure Pack能幫助使用者構建如Azure一樣的管理員門戶和使用者自服務門戶,讓使用者獲得和在使用Azure一樣的使用體驗(如下圖)。

5.   模組化的硬體裝置

採用經過S2D方案測試認證的工業標準X86伺服器和高效能機櫃接入交換機,可以像拼樂高積木一樣按需堆疊,靈活縮放。伺服器支援Intel最新Scalable Silver/Gold/Platinum處理器,較上一代產品可以提升50%以上虛擬機器密度。伺服器儲存針對軟體定義儲存設計優化結構,能有效提升單節點儲存容量,並可以支援不同型別快閃記憶體和磁碟。網絡卡採用支援NVGRE硬體解除安裝和RDMARoCE, iWARP10GbE25GbE。配置TPM2.0可啟用Windows Server 2016資料中心版的遮蔽的虛擬機器功能。配置伺服器遠端管理卡,可以將硬體生命週期管理套件整合在SystemCenter中,實現軟體和硬體統一管理。

業界第一款基於微軟超融合就緒一體機產品:S2D Ready Nodes

S2D就緒節點一體機(Dell Microsoft S2D Ready Nodes)採用微軟超融合技術,整套方案硬體+軟體+服務一體化,適合中小企業基於Hyper-V伺服器虛擬化和容器(WindowsLinux),以及VDI解決方案和各類微軟應用如:SQL Server、Exchange等。產品可以從2節點起配,最大擴充套件到16節點,支援虛擬機器規模從120個虛擬機器最大到1000個虛擬機器規模,可靠性高:可以最多允許2個節點離線,靈活度高:可以2-16個節點隨意增減節點。S2D ReadyNodes所有硬體配置經過驗證和測試,保證最佳相容性和可靠性;工廠預裝正版Windows Server 2016資料中心版,減少人工部署時間,驅動和系統可靠性經過Dell測試和認證;無需再購買WindowsServer虛擬機器授權。

有人會問,談這麼多技術架構,實際效能怎麼樣?我們來看一組微軟的4節點25GbE網絡卡測試資料,全快閃記憶體配置(NVMe+SSD,NVMe只做寫快取)

硬體配置:

  • DellEMC PowerEdge R730XD
  • 2x Intel® Xeon® E5-2697v4 (18 cores @ 2.3 GHz)
  • 128GiB DDR4 DRAM
  • 4x 800GB Dell Express Flash NVMe SM1715
  • 8x 800GB Toshiba PX04SHB080 SSD
  • Cavium FastLinQ® QL41262H 25GbE Adapter (2-Port)

       使用VMFleet測試IOPS,每個VM執行DISKSPD,4KB IO 90% read and 10% write 不同佇列深度資料:117萬 IOPS

 

資料來源:https://blogs.technet.microsoft.com/filecab/2017/09/21/storage-spaces-direct-with-cavium-fastlinq-41000/

如果節點增加,效能也同時線性增加:16個節點共704VMs

硬體配置:

  • 2x Xeon E5-2699v4 2.3Ghz (22c44t)
  • 128GB DRAM
  • 4x 800GB Intel P3700 NVMe (PCIe 3.0 x4)
  • 1x LSI 9300 8i
  • 20x 1.2TB Intel S3610 SATA SSD
  • 1x Chelsio 40GbE iWARP T580-CR (Dual Port 40Gb PCIe 3.0 x8)

4KB隨機讀(32 OIO),IOPS達到了約500萬!!!

 

 資料來源:https://blogs.technet.microsoft.com/filecab/2016/07/26/storage-iops-update-with-storage-spaces-direct/

簡單易用、高可靠性的超融合架構

       微軟全新的超融合架構,通過S2D軟體定義儲存技術,提供高效能、低延遲、簡單易管理的軟體定義儲存。同時結合微軟先進的Hyper-V虛擬化技術和網路控制器SDN技術,為使用者構建靈活的超融合架構。特別適用於Hyper-V虛擬化,VDISQL Server等業務場景使用。

下一篇為大家帶來S2D技術深入講解。

1:資料來源: 1. Avanade, Global Study:Hybrid CloudFrom Hype to Reality (Dec 2014); 2.RightScale State of the Cloud Report, 2015


作者介紹:

Jason GaoEmail[email protected] 微訊號:XMGAOYI

IT行業12年技術和培訓相關工作經驗,曾在Dell等公司任職,目前為微軟OEM產品技術專家。豐富的專案管理和資料中心方案構架經驗,熟悉資料中心硬體架構,以及SDDC解決方案。