1. 程式人生 > >揭祕HybridDB助力雙十一背後

揭祕HybridDB助力雙十一背後

背景介紹

今年雙十一又有新紀錄重新整理,21秒成交額超10億,資料瞬間膨脹到PB級,包裹數億級,嚴苛的指標對資料庫產品提出了更嚴格的需求。HybridDB作為阿里雲自研的HTAP資料庫經受住了流量洪峰的考驗,順利的完成了2019年雙十一的保障工作。

HybridDB在阿里集團內廣泛應用。比如為幾十萬商家提供資料驅動的店鋪智慧服務,也為幾千小二提供了高效的資料化服務產品,大大提高生產效率。同時盒馬實時交易大盤使用HybridDB實現盒馬全鏈路的資料實時閉環,支撐1000多張表的複雜查詢,平均查詢延遲1秒以內,大大提高了新零售的資料化能力。菜鳥倉儲實時線上數倉,基於HybridDB for MySQL構建了容納核心的訂單、包裹、庫存及時效等全鏈路資料,目前已經成長為菜鳥倉儲業務的資料化產品基石。HybridDB承接ECS、RDS、CDN、SLB等阿里雲核心業務提供實時監控資料的儲存、計算服務,支撐了四大件產品雙十一實時監控大屏,為阿里雲雙十一保駕護航。

目前HybridDB for MySQL支援高效能儲存規格和高效能運算規格,,融合了線上OLTP和實時OLAP業務,實現了HTAP能力的統一。以視訊雲相關場景為例,簡要介紹,在高吞吐中心場景中的應用,實際業務場景會比本文複雜。

阿里雲視訊雲業務

阿里雲視訊雲典型場景如下:

78f812f37e386a9f3d604a9b8276b82b27b8750e

視訊使用者的線上類業務,如作業提交、轉碼工作流控制、推流索引等,直接坐落在HybridDB for MySQL上,實時事務tps高達5萬,歷史作業資料可儲存5年以上;

視訊雲技術架構的線上實時分析和離線分析類業務,如監控資料採集與實時分析、資源排程、監控告警燈,也採用HybridDB for MySQL解決儲存計算問題,實時寫入

tps高達200萬,資料實時可見並支援包括oracle開窗函式等在內的OLAP分析SQL

視訊雲業務的核心基於CDN技術,CDN是多地分發的內容快取服務,其本身的效能和穩定性需要強大的監控排程能力來保障,HybridDB儲存了CDN叢集運轉的實時負載狀態,以及基於負載狀態產生的各類分析結果以供叢集的服務狀態修正。一般資料庫無法承載海量監控資料的儲存和計算,大資料生態無法做到實時資料寫入實時可見。CDN監控排程藉助HybridDB for MySQL每秒百萬行資料寫入、PB級資料儲存、毫秒級線上分析能力,解決十萬級伺服器的實時監控預警-排程反饋閉環處理問題,保障了阿里雲CDN天量資料流量的安全運轉。

其他場景持續更新中,敬請期待....