1. 程式人生 > >HybridDB for MySQL計算規格全面加速OLAP場景

HybridDB for MySQL計算規格全面加速OLAP場景


前言

在2018年雙十一中,阿里雲資料庫HybridDB為幾十萬商家提供資料驅動的店鋪智慧服務,也為幾千小二提供了高效的資料化服務產品,大大提高生產效率。 盒馬實時交易大盤使用HybridDB實現盒馬全鏈路的資料實時閉環,支撐1000多張表的複雜查詢,平均查詢延遲1秒以內,大大提高了新零售的資料化能力。菜鳥倉儲實時線上數倉,基於HybridDB for MySQL構建了容納核心的訂單、包裹、庫存及時效等全鏈路資料,目前已經成長為菜鳥倉儲業務的資料化產品基石。 HybridDB 承接ECS、RDS、CDN、SLB等阿里雲核心業務提供實時監控資料的儲存、計算服務,以及支撐了四大件產品雙十一實時監控大屏。為阿里雲雙十一保駕護航。


計算規格是HybridDB for MySQL最新推出的OLAP增強版本,通過自研的列式儲存引擎CStore全面加速分析場景。

主打毫秒級實時資料更新+百億大表任意維度毫秒級分析,在完備的SQL能力上,同時支援在SQL中的多值子列查詢、全文檢索、空間檢索等功能特性。既支援通過資料同步工具實時寫入資料也支援直接和離線數倉ODPS的快速資料TB每小時的高速匯入匯出,覆蓋實時BI報表、離線資料線上服務、日誌類分析查詢等各類場景。

一. 功能特性

1) 極速查詢

毫秒級的極速查詢能力是HybridDB計算規格的核心競爭力:

  • 支援百億大表的聚合、連線等複雜查詢,任意維度組合,毫秒級延時
  • 支援通用的OLAP模型,比如星型、雪花等模型;支援事實表、維度表
  • 資料按照列儲存,支援列級智慧索引。列級索引可以任意組合, 最多支援數千個查詢條件
  • 強大的聚集索引能力,使用者可以按照業務特性對資料做排序,查詢效能最高可提升一個量級以上

2)SQL相容性

HybridDB計算規格在查詢上面有著出色的SQL相容能力:

  • 支援MySQL全部的查詢語法(涵蓋各類操作符、函式、複雜查詢巢狀等)
  • 支援大資料通用的TPC-H、TPC-DS標準benchmark
  • 支援Oracle常用的開窗語法和函式、集合操作、層次查詢等

3)實時寫入

HybridDB計算規格支援高效能實時寫入:

  • 支援insert into/replace into實時寫入
  • 資料寫入後毫秒級可查詢
  • 支援主鍵索引去重,可以快速replace into覆蓋更新
  • 支援Update和Delete單表任意條件的資料更新
  • 效能:單節點2-5w tps 或者 30-50M/s, 可線性擴充套件到數百萬tps

4)批量匯入

HybridDB計算規格有著獨具特色的高效能批量匯入能力:

  • 批量匯入效能最高可達1TB/小時,百億資料最快分鐘級匯入完成
  • 支援MaxCompute(ODPS)、OSS、RDS(MySQL)等的快速批量匯入匯出
  • 新老資料一鍵切換功能:資料匯入時不影響查詢,匯入完成後一鍵切換新資料上線服務。
  • 資料匯出的也有著匯入一樣的效能

5)BI生態相容

HybridDB計算規格相容MySQL協議,支援主流的BI工具:

  • 阿里雲上支援DMS、QuickBI等BI工具,支援DTS全量和增量資料遷移
  • 阿里集團內支援IDB、孔明燈、夸克視覺化工具,支援精衛、DTS資料同步
  • 支援各種商業BI工具:Tableau、Navicate、MySQL workbench等

6) 系統穩定性

HybridDB計算規格在穩定性了做了大量的細緻工作:

  • 使用者例項資源單獨隔離,無共享資源依賴,保證了使用者之間不會出現資源爭搶和排隊
  • 儲存和計算資源隔離,可以保證匯入基本不影響查詢
  • 查詢模式自動識別,快速查詢和複雜查詢隔離,避免了單個複雜查詢影響整個例項。

7)資料可靠性

HybridDB計算規格從兩個個方面保證資料可靠性:

  • 資料預設三副本儲存,工業安全
  • 支援全量和增量備份到OSS

8)特色功能

HybridDB計算規格做為OLAP增量版本,支援如下特色功能:

  • 多值子列:支援單列多個值的儲存、過濾、分組,可以做到億級資料毫秒級的多值列檢索
  • 全文檢索:支援全文檢索列,可以定義分詞器,支援毫秒級的檢索能力
  • 空間檢索:支援空間索引,支援點、圈型、多邊形的檢索和查詢,百億資料可以做到毫秒級別的檢索能力

二、覆蓋場景&解決方案

HybridDB的計算規格支援高併發線上分析、複雜互動式分析、實時混合資料倉庫等多種場景: