1. 程式人生 > >阿裏雲高級總監談超大規模超高性能分布式快存儲系統

阿裏雲高級總監談超大規模超高性能分布式快存儲系統

方向 sha 操作系統 隔離 教訓 產品 ram ssd 數字化

摘要: 10月27日下午,2018中國計算機大會上舉辦了主題“新型硬件環境下大數據處理技術”的技術論壇,一起探討新型硬件帶來的變化。論壇上,阿裏雲高級總監馬濤針對超大規模超高性能分布式塊存儲系統ESSD進行了報告分析。

新型硬件(如NVRAM、RDMA、GPU/TPU等)及其構建的異構復雜環境,與既有硬件環境的巨大差異,導致傳統的算法、數據結構甚至是涉及原則和經驗法則等難以為繼,對計算智能與大數據處理帶來新的挑戰和機遇。

10月27日下午,2018中國計算機大會上舉辦了主題“新型硬件環境下大數據處理技術”的技術論壇,一起探討新型硬件帶來的變化。論壇上,阿裏雲高級總監馬濤針對超大規模超高性能分布式塊存儲系統ESSD進行了報告分析。

技術分享圖片

專家簡介:

馬濤,阿裏雲高級總監,在IBM、ORACLE有多年的操作系統以及企業級存儲的研發經驗,2010年加入阿裏巴巴集團淘寶核心系統部,負責淘寶底層操作系統的設計和研發工作。2014年轉入阿裏雲,負責阿裏雲彈性計算存儲相關產品的研發工作。

在報告中,馬濤指出面對企業上雲實現數字化轉型以及新硬件架構層出不窮,現有存儲產品已無法滿足業務的需求,亟需新一代的超大規模、超高性能分布式快存儲(ESSD)提升系統的業務能力,目前ESSD的性能已將單塊雲盤性能提升到100萬IOPS、100微秒延遲、4000MB吞吐量的全新高度。
技術分享圖片
技術分享圖片
技術分享圖片

隨後,馬濤介紹了ESSD系統的設計和實現,展示了阿裏雲在軟硬一體協同優化方面的探索,基於NVMe SDD和3D Xpoint新一代存儲介質,采用了全用戶態協議棧,通過用戶態Polling模式驅動程序架構如SPDK、DPDK等,讓ESSD達到釋放數百萬IOPS的能力,完成計算機體系結構的全面調優,滿足超低延遲、超高性能和超大規模的設計要求。

技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片

最後,馬濤對塊存儲的未來發展提出了一些新的思考和方向,包括如何應對數據中心內部的網絡問題、如何解決高性能存儲的資源隔離和軟硬一體化、REDIS的教訓、傳統塊存儲產品如何使用、如何和CLOUD NATIVE更好的配合等。

阿裏雲高級總監談超大規模超高性能分布式快存儲系統