今天被朋友圈刷屏了,StarRocks開源——攜手未來,星辰大海!
可能大家對StarRocks不太熟悉,但是DorisDB想必都是聽說過的。
在過去相當長的一段時間,對於ClickHouse 與 DorisDB的效能之爭一直經久不息。
對於實時OLAP引擎的選擇,Doris也越來越多並企業所應用。
DorisDB是一款純國產的高效能的, 分散式關係型列式資料庫。
DorisDB脫胎於百度廣告業務的實時分析場景, 於2018貢獻給Apache開源社群, 之後在美團, 小米, 位元組跳動, 京東等網際網路企業被適用於核心業務實時資料分析。
DorisDB致力於滿足企業使用者的多種資料分析場景. 支援多種資料模型(明細表, 聚合表), 多種匯入方式(批量, 可整合和接入多種現有系統(Spark, Flink, Hive, ElasticSearch)。
DorisDB特性
DorisDB的架構設計融合了MPP資料庫,以及分散式系統的設計思想,具有以下特性:
架構簡單
DorisDB叢集的正常執行不需要依賴任何其他系統, 易部署, 易維護. 極簡的架構設計, 降低了DorisDB系統的複雜度和維護成本, 同時也提升了系統的可靠性和擴充套件性。管理員只需要專注於DorisDB系統,無需學習和管理任何其他外部系統。
分散式架構
DorisDB採用分散式架構,儲存容量和計算能力可近似線性水平擴充套件。DorisDB叢集的規模可擴充套件到數百節點,支援的資料規模可達到10PB級別。元資料和資料管理採用熱備保證高可用, 能夠自愈, 服務和資料安全可靠。
自治系統,管理簡單
DorisDB是一個自治的系統。節點的上下線,叢集擴縮容都可通過一條簡單的SQL命令來完成; 在此操作期間, DorisDB後臺自動完成資料rebalance; 使用者的查詢和資料匯入操作可同時正常執行。
另外DorisDB表模式熱變更,可通過一條簡單SQL命令動態地修改表的定義, 例如增加列、減少列、新建物化檢視等。同時,處於模式變更中的表也可也正常匯入和查詢資料。
標準SQL
DorisDB支援標準的SQL語法,包括聚合,JOIN,排序,視窗函式,自定義函式等功能,使用者可以通過標準的SQL對資料進行靈活的分析運算。 此外,DorisDB還相容MySQL協議語法,可使用現有的各種客戶端工具、BI軟體訪問DorisDB, 對DorisDB中的資料進行拖拽式分析。
MPP(Massively Parallel Processing)執行框架
DorisDB內部通過MPP計算框架完成SQL的具體執行工作。MPP框架本身能夠充分的利用多節點、多CPU, 多核的算力,充分地將整個查詢並行執行, 從而實現很好的互動式分析體驗. DorisDB能夠支援亞秒級查詢,並且查詢QPS可達10000以上。
流批匯入
DorisDB支援實時和批量兩種資料匯入方式, 支援的資料來源有Kafka, HDFS, 本地檔案. 支援的資料格式有ORC, Parquet和CSV等. DorisDB可以實時消費Kafka資料來完成資料匯入,保證資料不丟不重(exactly once)。DorisDB也可以從本地或者遠端(HDFS)批量匯入資料。
高可用
DorisDB的元資料和資料都是多副本儲存,並且叢集中服務有熱備, 多例項部署,避免了單點故障。叢集具有自愈能力, 可彈性恢復. 節點的宕機、下線、異常都不會影響DorisDB叢集服務的整體穩定性。
DorisDB可以滿足企業級使用者的多種分析需求,包括OLAP多維分析,定製報表,實時資料分析,Ad-hoc資料分析等。
在企業對於大資料分析面臨的越來越多的問題情況下。
DorisDB升級為StarRocks,並全面開源(Github搜尋“StarRocks”)
Github:https://github.com/StarRocks/starrocks
另外,官方下載地址與文件,請關注下面的地址。
1.18.2社群版下載地址:
Https://www.dorisdb.com/zh-cn/download/request-download/1
發行說明:
Https://forum.dorisdb.com/t/topic/391
文件地址:
Http://docs.dorisdb.com/
POC測試指南:
Https://www.bilibili.com/video/BV1SX4y1c7i4?share_source=copy_web
測試FAQ:https://docs.dorisdb.com/zh-cn/main/quick_start/Test_faq
也希望大家為國產開源軟體貢獻一份自己的力量。
獲取更多StarRocks資料,歡迎關注 大資料流動 回覆 “StarRocks”