1. 程式人生 > >阿里雲高階總監談超大規模超高效能分散式快儲存系統

阿里雲高階總監談超大規模超高效能分散式快儲存系統

摘要: 10月27日下午,2018中國計算機大會上舉辦了主題“新型硬體環境下大資料處理技術”的技術論壇,一起探討新型硬體帶來的變化。論壇上,阿里雲高階總監馬濤針對超大規模超高效能分散式塊儲存系統ESSD進行了報告分析。

新型硬體(如NVRAM、RDMA、GPU/TPU等)及其構建的異構複雜環境,與既有硬體環境的巨大差異,導致傳統的演算法、資料結構甚至是涉及原則和經驗法則等難以為繼,對計算智慧與大資料處理帶來新的挑戰和機遇。

10月27日下午,2018中國計算機大會上舉辦了主題“新型硬體環境下大資料處理技術”的技術論壇,一起探討新型硬體帶來的變化。論壇上,阿里雲高階總監馬濤針對超大規模超高效能分散式塊儲存系統ESSD進行了報告分析。
阿里雲高階總監談超大規模超高效能分散式快儲存系統

專家簡介:

馬濤,阿里雲高階總監,在IBM、ORACLE有多年的作業系統以及企業級儲存的研發經驗,2010年加入阿里巴巴集團淘寶核心系統部,負責淘寶底層作業系統的設計和研發工作。2014年轉入阿里雲,負責阿里雲彈性計算儲存相關產品的研發工作。

在報告中,馬濤指出面對企業上雲實現數字化轉型以及新硬體架構層出不窮,現有儲存產品已無法滿足業務的需求,亟需新一代的超大規模、超高效能分散式快儲存(ESSD)提升系統的業務能力,目前ESSD的效能已將單塊雲盤效能提升到100萬IOPS、100微秒延遲、4000MB吞吐量的全新高度。
阿里雲高階總監談超大規模超高效能分散式快儲存系統
阿里雲高階總監談超大規模超高效能分散式快儲存系統
阿里雲高階總監談超大規模超高效能分散式快儲存系統

隨後,馬濤介紹了ESSD系統的設計和實現,展示了阿里雲在軟硬一體協同優化方面的探索,基於NVMe SDD和3D Xpoint新一代儲存介質,採用了全使用者態協議棧,通過使用者態Polling模式驅動程式架構如SPDK、DPDK等,讓ESSD達到釋放數百萬IOPS的能力,完成計算機體系結構的全面調優,滿足超低延遲、超高效能和超大規模的設計要求。
阿里雲高階總監談超大規模超高效能分散式快儲存系統


阿里雲高階總監談超大規模超高效能分散式快儲存系統
阿里雲高階總監談超大規模超高效能分散式快儲存系統
阿里雲高階總監談超大規模超高效能分散式快儲存系統

最後,馬濤對塊儲存的未來發展提出了一些新的思考和方向,包括如何應對資料中心內部的網路問題、如何解決高效能儲存的資源隔離和軟硬一體化、REDIS的教訓、傳統塊儲存產品如何使用、如何和CLOUD NATIVE更好的配合等。