本文組織：

1. 單盤100萬IOPS意味著？

2. 背後的技術猛料！

3. 效能這麼高，安全性有保障麼？

4. 笑對Intel漏洞？

5. 儲存界已三足鼎立？
   

2018年1月9日，阿里雲在北京隆重發布瞭如下產品和技術：

其中，ESSD是塊儲存服務，其達到了恐怖的單盤100萬IOPS的峰值。阿里雲現場演示了對一個10TB容量的ESSD塊盤加I/O壓力，然後輕易超越了友商、本地SSD盤的效能，最後直衝到了100萬IOPS。另外，阿里雲研究員伯瑜現場指出：100萬IOPS，讀和寫均可達到。這一條很勁爆，作為NAND Flash介質，讀效能比寫效能可能要高六七倍以上。而阿里雲竟然可以做到寫也100萬IOPS。

在為何測試時效能吊炸天而上線卻慘不忍睹？一文中，冬瓜哥指出，不談時延的IOPS都是耍流氓。而阿里雲本次釋出的ESSD在100萬IOPS情況下平均延遲500us，50萬IOPS情況下平均延遲100us。這個值已經超越了目前的SAN/全快閃記憶體廠商能夠提供的最佳值。

另外，對於大併發高壓力的網際網路前端業務而言，除了關注IOPS和時延之外，另一個非常重要的指標就是抖動，因為一次抖動可能會導致系統的連鎖反應，重則崩潰。阿里雲很有信心的將一個測試系統的實時延遲值展示到了網路上，可以掃描下面的二維碼直接檢視。

可以發現，去年釋出的NAS Plus的效能也獲得了極大提升，同時提升的還有極速OSS物件儲存。

阿里雲研究員吳結生表示，在儲存界，一些廠商的產品其實也可以達到類似效能，但是他們都使用了本地盤加高速本地匯流排。能夠在資料中心規模內部以雲服務方式達到這種效能的，目前只有阿里雲能夠做到。

很顯然，這種恐怖效能的背後，一定產生了一場大規模的後端技術、架構的升級、變革。

ESSD單盤容量最大可到256TB，而之前SSD雲盤則為32TB。而且，加量不加價，仍然是每GB 1塊錢。阿里雲研究員伯瑜指出，現在有不少使用者對大容量、高效能的單盤有需求，比如一些做Elastic Search的使用者，要求幾十TB以上容量的單盤，同時效能要求幾十萬IOPS，在ESSD推出之前，這類需求只能用本地盤來彌補，但是安全性就沒有保障了。

單盤100萬IOPS意味著：

1. 相比上一代SSD雲盤，峰值效能直接翻50倍！

2. 相比上一代NVMe本地盤，峰值效能直接翻4倍！

3. 一盤在手，打遍各類業務無敵手。無需再用多塊盤組軟raid，lvm等。

4. 省錢！
   

5. 別家真是沒法玩了。

冬瓜哥有幸與阿里雲端儲存的兩位資深研究員Jason（吳結生）和伯瑜進行了交流，也瞭解到了阿里雲端儲存本次效能飆升背後的猛料。

1. 硬體升級。除了伺服器、SSD等基礎規格升級之外，這裡面最關鍵的其實是網路上的升級。目前阿里雲VM上的雲盤（本地盤）統一走的是乙太網訪問後端的盤古分散式儲存平臺上提供的各種儲存資源。一百萬[email protected]，對網路的頻寬耗費為40Gb/s，再加上開銷，需要至少50Gb的頻寬才能達到。阿里雲端儲存引擎2.0採用了25Gb/s乙太網，提升了頻寬密度。另外，採用了全自研交換晶片和交換機，針對RDMA協議做了晶片級優化，能夠讓跨交換機端到端通訊時延降低到2微秒（4KB+128B ack round robin時延）。

2. Luna通訊庫框架。有了強力網路硬體的支撐，軟體的開銷會成為優化的重中之重。在固態儲存時代，傳統較長的I/O路徑已經嚴重拖累了I/O時延，對於NVMe SSD而言，由於NVMe協議棧原生已經為我們開鑿好了高併發的通路，那麼，降時延就是升IOPS的唯一途徑了。阿里雲端儲存2.0引擎在後端採用了SPDK框架來與NVMe SSD互動，採用使用者態驅動，多佇列自適應Polling模式。在前端，採用私有的I/O協議+RDMA+使用者態驅動方式來轉發前端I/O請求到後端盤古系統上。這一整套的通訊庫框架被稱為鯤鵬。SPDK是Intel搞的一套使用者態I/O棧，但是根據業界一些儲存廠商的反饋，其中坑很多，效能也有待優化。阿里雲研究員伯瑜指出，SPDK庫已經在阿里實施了2年多，對它已經是駕輕就熟，該踩的坑也基本踩完了，而且阿里雲應該是第一家將SPDK廣泛使用的。研究員吳結生提到，鯤鵬庫的誕生為阿里雲端儲存的開發效率和效能這兩個矛盾點找到了一個很好的平衡。

3. 執行緒模型改進。阿里雲端儲存2.0引擎採用了使用者態驅動，加co-routine協程，加run to completion模式。使用者態驅動可以避免每次傳送I/O都必須經歷系統呼叫到核心來處理的效能損失。在使用者態上實現協程，把核心的執行緒排程開銷進一步降低，協程之間自主實現使用者態上下文切換，和自主排程切換，這一切核心根本感知不到，這樣可以在有限的執行緒執行時間片內全速的以非常低的切換開銷執行多個協程。再加上核心可感知的多個使用者執行緒併發充分利用處理器物理多核心，實現充分的併發。協程的另外一個關鍵點是其可以避免使用鎖，因為多個協程執行在單個核心上，全序列無併發，靠上層邏輯實現手動同步。另外，採用run to completion執行緒模型，避免I/O路徑上太多的非同步耦合點，後者會帶來較高的長尾效應，導致I/O時延不穩定。可參考冬瓜哥另一片文章：【冬瓜哥手繪】它保你上線效能也吊炸天！

4. 資料佈局Append Only。對付隨機寫入的最好的辦法就是append only模式，將所有寫操作順序記錄寫入，然後修改指標，這一招對SSD屢試不爽，實際上SSD內部也是這麼做的。阿里雲端儲存後臺也採用這種方式。之前只對物件儲存OSS和表格儲存TableStore等做這種策略，阿里雲端儲存2.0引擎下針對塊儲存也採用了該策略。

5.vhost-user架構。採用vhost-userI/O架構，bypass QEMU的virtio-blk架構，將IO dataplane從QEMU解除安裝下來，即IO請求的生命週期完全bypass QEMU。

6. 更細緻的分層和抽象。在後檯盤古系統中的單機內部，做了更細緻的分層和抽象。在上層，針對不同的I/O屬性，提供了定製化的策略模組，滿足不同的I/O Profile需求。

拋開安全性談效能就是空中樓閣。阿里雲後臺採用3副本同步寫方式，能夠保證9個9的可靠性。物件儲存OSS的資料3副本放置在3個AZ裡面，保證11個9的資料可靠性。塊儲存的資料由於三副本同步複製，所以對延遲非常敏感，會放置到1個AZ內部。

對於SSD/ESSD雲盤，所有寫到後臺的資料是直接下盤，並非到RAM，正因如此才會加持到9個9的可靠性。

阿里雲後臺支援對資料做快照，快照生成的資料會被匯出到OSS儲存上作為備份而存在，這份備份會擁有更高的可容災性，因為會與塊儲存位於不同的AZ。

吳結生研究員表示，由於目前阿里雲提供了諸多不同檔位的儲存服務，下一步會實現自動遷移，當用戶決定將當前服務提級或者降級時，目前是隻能靠使用者自己來遷移，不過可以通過匯入快照方式來方便的實現。將來會實現系統後臺自動遷移資料。 這樣的話，會給使用者帶來更多的方便試錯的機會。

目前阿里雲正在使用機器學習方式對使用者的底層I/O做學習分析，將來會做到智慧推薦。

支援端到端的資料校驗。支援加密。

在資料中心建設方面，阿里雲有一套獨特的經驗和方法論。在AZ的設計上非常考究，包括供電、網路運營商，不同資料中心/AZ都是獨立的不同供應商，不會用同一個供應商，以避免單點故障。甚至連地勢也會考慮，比如高度差異，防止洪水淹沒位於同樣地勢高度的資料中心。還會考慮鏈路途徑化工廠引入的不穩定因素等。

聊到Intel本次的Meltdown和Spectre漏洞，伯瑜研究員笑道，其實這次漏洞的影響恰好說明了，阿里雲引擎2.0採用的使用者態驅動和I/O協議棧模式，能夠天然抗拒新的OS補丁對效能產生的影響，也就是說，新補丁對效能幾乎沒有影響，因為傳送I/O的工作都是直接在使用者態做的，不牽扯到系統呼叫，否則，本次補丁還真有可能大幅降低系統性能。

本次，阿里雲還發布了一個叫做CPFS的並行檔案系統的服務，該FS是專門針對雲上HPC系統推出的，其能夠相容Luster的訪問介面，在HPC場景下能夠提供相比NAS產品更好的擴充套件性和對HPC環境的相容性。

阿里雲端儲存產品總監承宗指出，得益於阿里雲端儲存引擎2.0的釋出，OSS和NAS Plus也推出了極速版本。其可以直接為使用者帶來投資上的節省，比如之前有一些應用必須採用大容量記憶體，而現在OSS推出了極速版，這些應用可以在同樣的業務需求下，降低對記憶體的需求量，從而直接降低成本。

傳統儲存SAN/NAS，本地分散式儲存，雲端儲存，如今已經進入了三足鼎立時代。螳螂捕蟬黃雀在後，隨著分散式新興儲存系統對傳統SAN/NAS儲存的衝擊，後方雲端儲存又開始大肆強攻，到底應不應該把資料放到雲上，這似乎已經不再是一個技術問題了。