編輯手記：軟體定義儲存是行業發展的趨勢，可以保證系統的儲存訪問在精準的水平上更靈活地管理，本文分享軟體定義儲存的資料庫雲化實踐，來自上週四大講堂分享整理。

作者簡介：

劉振宇

雲和恩墨基礎架構軟體研發負責人。 擁有10年以上電信、金融、保險、政府機關以及製造業等多個行業的架構和管理經驗。現在負責雲和恩墨軟體定義儲存zData及私有云產品的研發工作，跟雲和恩墨專家一道共同致力於推動行業資訊化建設的發展與進步

什麼是軟體定義儲存（SDS）

軟體定義儲存(Software-defined storage，SDS)是一種資料儲存方式，所有儲存相關的控制工作都放置在相對於物理儲存硬體的外部軟體中。這個軟體不是作為儲存裝置中的韌體，而是在一個伺服器上或者作為作業系統(OS)或hypervisor的一部分。

軟體定義儲存是行業發展的趨勢，可以保證系統的儲存訪問在精準的水平上更靈活地管理，將軟體從硬體儲存中抽象，這意味著它可以變成一個不受物理系統限制的共享池，以便更有效地利用資源。儲存也可以通過軟體和管理進行部署和供應，其管理程式可以通過基於策略的自動化管理來進一步簡化。

軟體定義儲存有什麼特點

• 可擴充套件。軟體定義儲存系統可以擴充套件到幾百臺甚至幾千臺的叢集規模，而且，隨著叢集規模的增長，系統整體效能表現為線性增長
• 低成本。軟體定義儲存系統的自動容錯、自動負載均衡機制使其可以構建在普通X86伺服器之上。另外，線性擴充套件能力也使得增加、減少機器非常方便，可以實現自動運維。
•  高效能。無論是針對整個叢集還是單臺伺服器，分散式儲存系統具備高效能。

傳統的IT架構模式：

一直以來，傳統架構的資料庫執行在小型機和集中式SAN儲存上。隨著業務的高速發展，業務系統的交易量及資料量越來越大，對業務系統的處理能力及儲存能力要求越來越高。而傳統的架構擴充套件性差，計算能力有限，IO能力嚴重不足，如需達到相應的處理能力，則需要用更高配置的小型機和更高階儲存來代替現有的小型機和儲存，技術複雜，代價昂貴。同時，隨著裝置的老化，裝置效能越來越不足以支撐業務需要，業務系統的架構改造和升級勢在必行。

傳統架構的一些劣勢：

資料量：M級–>G級–>T級->海量已在眼前

資料量*使用者量–>關係使用者量：幾萬–>幾十萬–>幾百萬–>網際網路全開放

關係型資料庫之痛

中心化的儲存系統成為 I/O 存取的瓶頸:

1、傳統架構的資料庫節點需要高效能主機，成本高。對於多節點 RAC 資料庫，由於節點間的通訊帶 寬通常為 1Gb s，較高的為 10Gb s，這個數量級的頻寬使得節點間 的併發處理能力沒有充分利用。同時，傳統的磁碟陣列受限於控制器的處理能力和 FC 埠頻寬，IO 吞吐量通常只能幾百MB/s，在資料庫要求大量的磁碟讀寫時，IO 消耗的時間過長。

2、小型機配高階儲存，成本高昂，相對比較封閉，擴充套件能力差:傳統架構的儲存擴充套件能力較差，在容量增加時，效能沒有相應提高。同時擴容成本高，擴容週期長。

3、複雜的系統帶來部署及操作、運維和管理的複雜性:在傳統架構下，需要了解多維度的運維知識和技能，如:資料庫、U ix、儲存等，對運維人員要求極高，部署及操作、運維和管理異常複雜。

IT基礎架構發展趨勢

IT架構的演變-煙囪狀到雲化

兩層的計算-儲存架構有以下缺陷：

中心化的儲存系統

IO存取邊界，擴充套件成本高昂

部署與運維複雜

不能快速應對IT人員資源需求

基於雲化的高效能高可用架構的優勢：

• 高效能
• 彈性,可靈活多維動態擴充套件
• 統一運維管理，完善資料容災及保護

將帶來IT基礎設施效能的提升，x86平臺CPU效能提升。過去的10 年， CPU 處理速度提升8-10倍；DRAM 處理速度提升7-9倍。

儲存和網路的發展

針對IT基礎架構的發展和IT基礎設施的發展，以x86伺服器為基礎、使用快閃記憶體卡、Infiniband交換機可以使Oracle RAC達到很高的處理能力和IO吞吐量的分散式儲存方案zData應運而生。

zData軟體定義儲存基於x86的PC伺服器，在大幅度提升系統性能，保持系統的擴充套件性和敏捷響應能力的情況下，成本相對於傳統架構還大大降低。zData Light Storage分散式儲存軟體可支援上千個節點，儲存池容量可以達到32PB。支援不同儲存介質構成的儲存資源池。在基礎配置（3個儲存節點）下，高達數百萬IOPS，吞吐量超過20GB/s 。

實施方式：

1.使用者可以自購硬體或利舊。

2.雲和恩墨提供zData軟體及服務，包括效能及容量規劃，zData最佳實踐，資料庫遷移及優化，整體維保。

方案價值：

1.標準的x86開放架構，方案靈活方便。

2.無需採用高階小型機及高階儲存，建設及擴容價效比極高。

產品構造：

zData Light Storage儲存管理軟體

zData Light Storage是雲和恩墨自主研發的分散式儲存管理軟體，是一套靈活的軟體定義儲存軟體，它充分利用基於PC伺服器的內部直連式儲存來建立一個虛擬的、可擴充套件的儲存池，效能大大優於外部傳統光纖通道SAN，而成本和複雜性成倍降低。在zData中，通過zData Light Storage儲存管理軟體可以將高效能的x86伺服器作為儲存節點, 從而可以將多個儲存節點的內部磁碟資源整合起來形成虛擬的SAN儲存資源池，在資料庫節點（計算節點）上安裝zData Light Storage客戶端就可以使用其中虛擬SAN。zData Light Storage支援Infiniband網路下的RDMA協議,大幅減少CPU佔用的同時能夠顯著降低IO訪問延遲,具有無可比擬的效能優勢 zData Light Storage支援主流儲存介質，包括PCIe、NVMe、SAS、SATA等介面的SSD盤和卡以及SAS、SATA介面的傳統機械硬碟。

Infiniband網路

zData基於40~100GbInfiniband高速網路，採用全冗餘網路架構，一方面可以提供足夠的頻寬承載 zData LightStorage儲存管理軟體的資料傳輸，使其效能大幅優於外部傳統FC SAN,且成本和複雜性成倍降低;另一方面為Oracle RAC叢集的高效能讀寫提供了保障。

zData智慧管理工具zMan

根據雲和恩墨在Oracle資料庫領域的專業知識和強大團隊，研發了人性化的管理和運維工具zMan(zData Manager),zMan為zData提供智慧方便一鍵化的安裝，部署，管理功能，極大的降低了管理和運維的成本並在管理功能上為使用者提供更簡單便利友好的操作體驗。

雲和恩墨zData軟體定義儲存有以下的特點：

• 高效能

儲存節點和計算節點通過高速40~100Gb的Infiniband網路互聯，每個連線的鏈路均可進行儲存資料傳輸。通過zDataLight Storage儲存管理軟體，在使用快閃記憶體卡的情況下，可以使單儲存節點提供IO吞吐量達到12GB/s以上，IOPS（每秒磁碟IO請求次數）可以達到40萬以上，磁碟訪問延遲在0.6ms以內。單計算節點上的IO吞吐量達到12GB/s以上，IOPS（每秒磁碟IO請求次數）可以達到100萬以上，磁碟訪問延遲在0.6ms以內。儲存的三項關鍵能力是傳統陣列的10倍以上。

• 多維動態擴充套件

在zData軟體定義儲存架構中，可以根據業務和應用的需求動態擴充套件計算節點和儲存節點，容量和效能線性增長。同樣，也可以根據業務和應用的需求動態減少計算和儲存節點，保證資源的最大可用度

• 資源的池化&雲化

在zData軟體定義儲存架構中，計算資源和儲存資源池化，統一管理,按需分配擴充套件。

• 架構和軟體的安全性和可靠性

在zData軟體定義儲存中，伺服器，Infiniband交換機，Infiniband HCA卡及PCIe快閃記憶體卡等均冗餘，任何一個裝置和節點出現故障，均不影響線上業務的可用性，無單點故障。同時，zData儲存管理軟體自動管理和維護儲存資源，當分散式儲存網路中有節點損壞，或移動增加儲存節點，zData儲存管理軟體會在已有的或完好的節點上重構完好的儲存“塊”，使得每一份儲存“塊”仍然有映象，保證資料的安全性，重構速度每小時可達2TB，可線上自動操作，無需人工干預和不影響線上業務。

• 統一運維管理，提高資源利用率

整個zData的資源通過zdata管理平臺統一管理，自動化運維，大大降低對IT管理人員技能要求。

• zData zCache

雲和恩墨zData軟體定義儲存獨有的智慧快取工具zCache，提供以下功能：

• 支援writeback和直通模式

• 支援線上啟動和關閉cache

• 支援自動/手動重新整理髒資料

• 支援髒塊的重新整理頻率和速度動態的控制

zdata軟體定義儲存的應用場景及優勢：

1、資料倉庫和報表（OLAP）類系統：這類系統的資料庫對IO效能要求非常高，儲存容量擴容需求大，但是對可用性、容災要求不高。這類系統在企業應用中屬於核心系統之外的次重要系統，如果購買最高階的大容量集中儲存，成本很高。這類系統是zData軟體定義儲存解決方案的最佳使用場景。

2、聯機事務處理（OLTP）類系統：這類系統對實時性，併發性要求很高，對資料操作頻繁，相應對CPU及IO要求很高。由於zData軟體定義儲存解決方案能提供充足的計算能力及顯著降低IO延遲，這類系統也是zData軟體定義儲存解決方案的最佳使用場景。

3、資料庫雲化和整合：一些大型企業，資料庫數量多，需要將很多不重要的資料庫整合起來，減少運維複雜度和減少成本。使用zData軟體定義分散式儲存解決方案構建資料庫雲化和整合平臺，提高系統整合後的效能，增加系統的彈性（便於擴容），並且使用zMan軟體定義儲存管理工具，讓使用者易於維護整合後的系統。zData支援OpenStack和VMware平臺的雲化和管理。

4、X86架構下的資料庫備份容災：適用於很多傳統X86架構的資料庫系統建立以zData軟體定義分散式儲存為核心的低成本，高效率的備份及容災平臺。

下面，我分享以下目前一些zdata軟體定義儲存的成功案例

zData方案在多個企業和單位有過最佳實踐,以其高計算能力、高 I/O 能力、高可用能力、高可伸縮能力且極具穩健性的分散式儲存架構，是具有高併發高IO需求的系統的最佳選擇。在過去的實踐中也得到證實和認可。

貴州交警

貴州交警某業務系統隨著系統應用的深入和廣泛，原有基礎架構、資料架構規劃和設計上的問題逐漸凸現出來，主要表現為業務資料爆炸增長、業務應用增多、系統響應緩慢、物理擴容達到瓶頸、裝置達到服務年限。在經過zData一體機整合之後，整體使用者體驗得到了大幅改善，業務受理和辦理效率均得到了使用者讚譽。

效能提升效果：

1、整體效能提升18倍：重構前核心指標DBTIME每日最高單小時為3563.15，重構後每日最高單個小時指標為199.68，效能效果提升17.8倍。

2、I/O響應提升1000倍：重構前平均單次I/O請求時間為10.07毫秒，重構後平均I/O的請求時間縮短為0.01毫秒，I/O效率提升1007倍。

3、SQL效能提升117倍：考察違法審批報表SQL執行效率，重構前SQL執行需10206.1秒，重構後SQL執行完成只需87.07秒，執行效率提升117倍。

天安人壽

天安人壽隨著公司業務的迅猛發展，其核心繫統和報表系統的業務支撐壓力也越來越大，高峰期每秒的吞吐量超過 1G，原有的系統架構已經無法滿足快速發展的業務增長勢頭。

面對這種現狀，天安決定採取高效能儲存優先解決 I/O 問題。雲和恩墨憑藉具備高計算能力、高 I/O 能力和高可用能力的 zData 架構，輕鬆提供超過百萬級的 IOPS，超過 10GB/s 的吞吐能力，全面支撐起了有著巨量 IOPS 需求的高併發交易，以及海量資料吞吐需求的報表、資料倉庫等系統的高效執行，為天安人壽實現高效能需求的同時，也大幅縮減了整個系統的時間成本與資源成本，成為保險行業業務系統一體機化的典範。

更多客戶成功案例：

文章來源微信公眾號：資料和雲