1. 程式人生 > >阿里巴巴下一代雲分析型資料庫AnalyticDB入選Forrester Wave™ 雲數倉評估報告

阿里巴巴下一代雲分析型資料庫AnalyticDB入選Forrester Wave™ 雲數倉評估報告

摘要: 近期, 全球權威IT諮詢機構Forrester釋出"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究報告,阿里巴巴分析型資料庫(AnalyticDB)成功入選 !AnalyticDB作為阿里巴巴自主研發的PB級實時雲資料倉庫,全面相容MySQL協議以及SQL:2003 語法標準,可以毫秒級針對萬億級資料進行即時的多維分析透視和業務探索,幫客戶將整個資料分析和價值化從傳統的離線分析帶到下一代的線上實時分析模式。

前言
近期, 全球權威IT諮詢機構Forrester釋出"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究報告,阿里巴巴分析型資料庫(AnalyticDB)成功入選 !AnalyticDB作為阿里巴巴自主研發的PB級實時雲資料倉庫,全面相容MySQL協議以及SQL:2003 語法標準,可以毫秒級針對萬億級資料進行即時的多維分析透視和業務探索,幫客戶將整個資料分析和價值化從傳統的離線分析帶到下一代的線上實時分析模式。本文將深入解讀AnalyticDB成功入選背後的核心產品以及帶來的客戶價值。
阿里巴巴下一代雲分析型資料庫AnalyticDB入選Forrester Wave™ 雲數倉評估報告

核心能力一:快和實時

分析型資料庫AnalyticDB在瞬間即可對萬億級別的資料進行實時的多維度分析透視,快速發現數據價值。AnalyticDB對複雜SQL查詢速度相比傳統的關係型資料庫快10倍,此外,AnalyticDB還可以快速擴容至數千節點的超大規模,進一步提升查詢響應速度。三大模組合力構築了遠遠領先競爭對手的效能優勢:

智慧SQL優化器:針對複雜的SQL查詢,AnalyticDB的SQL Optimizer 實現了多種查詢改寫優化,同時依據統計資訊選擇JOIN ORDERING最優路徑,並支援 CTE 歸併等功能。同時針對高併發低延遲查詢,提供智慧的 Plan cache,將相似SQL Pattern 計劃都快取起來,規避重複優化開銷。

曦和計算引擎: AnalyticDB 在2017年全面升級為新一代曦和分散式計算引擎,整體採用MPP架構,並支援DAG計算模型,節點內引入LLVM等執行時編譯優化JIT技術,效能提升一倍以上。資料分析任務在曦和計算引擎內被打散成小顆粒的計算單元,引擎內建分時輪詢的計算排程機制,可以保證高併發下作業任務的穩定執行。

玄武儲存引擎:AnalyticDB支援行列混合儲存,同時針對不同的資料型別,當資料實時寫入時,智慧的構建多種維度索引,包括B+索引、區間索引、倒排索引、點陣圖索引等,並對傳統索引演算法進行創新,引入動態過濾、延遲物化等方式,極大的降低I/O,實現高效能的點或範圍的檢索,支援千億級記錄關聯分析。

核心能力二:超大規模
AnalyticDB是全分散式結構,使得資料庫支援ECU節點動態線性擴容至數千節點。使用者可以通過橫向擴容來大幅度提升查詢SQL響應速度、以及換來SQL處理高併發。 AnalyticDB 基於阿里雲飛天系統構築,AnalyticDB採用分層解耦架構,同時將分析計算、資料寫入、索引構建等分離為不同節點,同時各種型別節點採用多活執行模式實現高可用,資料儲存在盤古分散式檔案系統上,實現高可靠和高效能讀寫I/O,在整體架構上實現了彈性擴充套件和高可用。AnalyticDB架構上每一層結構,都充分的考慮了規模化擴充套件性問題。

阿里巴巴下一代雲分析型資料庫AnalyticDB入選Forrester Wave™ 雲數倉評估報告

核心能力三:高併發實時寫入和更新

由於無論是前端接入層、寫入節點支援動態大規模擴充套件,客戶可以從最小規模的10萬TPS寫入能力,通過橫向擴容節點提升至1000萬+TPS的寫入能力,實時寫入後,資料秒級別可見,從寫入到分析整個資料延遲控制在秒級。

單個表最大支援PB級資料,十萬億記錄,傳統的資料倉庫通常是離線Load資料模式,不具備實時高併發寫入能力。正是由於具備海量資料實時寫入能力,AnalyticDB資料分析時效性非常高,是企業資料離線計算轉實時化的下一代核心解決方案。

核心能力四:靈活

AnalytiDB無論是前端接入層還是彈性計算層、以及資料儲存層均是全分散式設計,全域性無單點。外加儲存計算分離結構,帶來的優勢是極度靈活。雲上客戶不僅可以隨時進行靈活調整節點數量,還可以做例項規格的動態升降配。AnalytiDB同時支援在儲存型的SATA例項和高效能的SSD例項間靈活切換。

舉例來說: 可以從8個高效能的c4例項升到12個高效能的c8例項,或從12個c8降到8個c4,甚至從2個高效能c8節點切換至4個大儲存SATA的s2n等,企業可以真正做到靈活控制成本。

核心能力五:易用

AnalyticDB作為雲端託管的PB級SQL資料倉庫,高度相容MySQL協議和SQL:2003,通過標準SQL和常用的BI工具、以及ETL工具平臺即可輕鬆使用。同時結合阿里雲資料傳輸服務(DTS) + 資料視覺化配套(Datav & QuickBI), 輕鬆拖拽式即可完成企業的實時資料倉庫建設。AnalyticDB旨在幫助企業降低實時資料化運營的建設門檻。

為企業解決資料化建設效率和效能難題

遞四方集團(4PX)是領先的跨境電商物流服務提供商。遞四方資訊科技團隊在建設了多年的離線資料平臺後,需要短時間內建設PB級別實時資料平臺支援數字化運營。遞四方資訊科技在調研了一系列的解決方案後,綜合成本和建設效率等因素,最後選擇了基於AnalyticDB來構建實時資料平臺。 雙方通力合作,在極短時間內通過
DTS+AnalyticDB+DataV/QuickBI套件,以簡單快速的拖拽配置方式完成了4PX企業實時數倉的初期基礎建設。
阿里巴巴下一代雲分析型資料庫AnalyticDB入選Forrester Wave™ 雲數倉評估報告
無他相機作為一款流行的拍照智慧App, 有各種使用者和App資料需要上報做實時分析,以幫助運營人員做活動效果分析以及開發人員做App分析,不斷優化使用者體驗和App質量。資料總量約100億,需實時入庫更新,客戶最早期的方案是MySQL,後續換成了MongoDB,解決了實時寫入問題,但是分析效能巨慢。在使用了分析型資料庫的儲存型例項後,將業務資料直接寫入AnalyticDB,不但解決了實時高併發寫入問題,複雜分析效能從40分鐘+降低到秒級別,高分期QPS 1800+。

阿里巴巴下一代雲分析型資料庫AnalyticDB入選Forrester Wave™ 雲數倉評估報告

典型行業客戶-他們也在使用AnalyticDB
阿里巴巴下一代雲分析型資料庫AnalyticDB入選Forrester Wave™ 雲數倉評估報告

展望未來:儲備更多創新力量 + 構築更豐富的生態

分析型資料庫AnalyticDB,作為阿里巴巴下一代PB級實時資料倉庫, 承載著整個集團內和雲上客戶的資料價值實時化分析的使命。此次報告可以看出,整個大資料企業服務邁入CDW階段,靈活、易用、自助化服務成為主流趨勢,AnalyticDB接下來將在易用性、資料通道、任務管理、視覺化等周邊生態建設上繼續做廣、做深。同時也為未來儲備了一些核心力量,並取得階段性的進展:

分析型資料庫AnalyticDB首次在“雙11 全球狂歡節” 採用GPU加速加速技術,在計算成本大幅降低的情況下,服務全球商家將資料分析從離線進入線上時代,支撐PB級資料從T+1計算提速到秒級實時分析。
向量分析首次支撐銀泰、盒馬等新零售場景的人臉識別、演算法推薦、結構化資料實時融合分析,毫秒級打通線上線下會員體系,支撐實時資料化線下互動、營銷。
AnalyticDB為資料價值線上化而生,作為實時雲資料倉庫平臺,希望能將最領先的下一代實時數倉能力普惠給所有企業,幫助企業轉型加速資料價值探索和線上化。
查的慢,就用AnalyticDB!