1. 程式人生 > >集算器(倉庫版)發布,黑科技獲得用戶好評

集算器(倉庫版)發布,黑科技獲得用戶好評

集群組表 並行列存 數據存儲 數據計算

2018年5月16日,集算器(倉庫版)攜帶多項黑科技正式發布。

技術分享圖片

在發布之前的應用驗證中,倉庫版就已經用實力贏得了用戶的好評。北京銀行用戶在評價倉庫版時表示:在數據分析實踐中,高並發訪問、大數據量計算造成的系統響應時間過長的問題,始終沒有得到很好的解決。集算器(倉庫版)的出現,徹底解決了這個難題!用集算器將高頻次熱點數據前置,構建數據計算中間層,可以說是最佳解決方案,在很多場景下要優於價值百萬的數據庫產品!

實際的測試也證明,集算器(倉庫版)確實表現優異!以性能指標為例,測試目標是高頻熱點數據,單日三千萬行。集算器和GreenPlum執行同樣的條件查詢,集算器僅用2秒完成,GreenPlum執行了5秒。GP測試環境是5個節點集群,每個節點是2*6核CPU,96G內存的實體機;而集算器所在的服務器僅是1*2核CPU,16G內存的虛擬機。能夠大幅超越GP,足見黑科技的威力!

究竟是什麽樣的黑科技能以如此優異的表現贏得用戶的好評呢?下面,我們就一一道來:

黑科技之一:組表

組表又稱組合表,是集算器(倉庫版)數據存儲的基本方式。組表支持數據的部分修改,支持更新恢復,可以安全方便的從全量數據源中同步熱點數據。組表支持索引,而且數據本身就是有序存放的,常用的條件過濾計算不依賴索引也能保證高性能。索引在數據修改之後自動更新。

在上邊提到的測試中,采用的是列存硬盤存儲的方式。組表也可以采取行存和全內存存儲數據,支持內存數據庫方式運行。

黑科技之二:可並行列存

組表采用的列存機制和常規列存是不同的。常規列存(比如parquet格式),只能分塊之後,再在塊內列存,在做並行計算的時候是受限的。組表的可並行壓縮列存機制,采用倍增分段技術,允許任意分段的並行計算,可以利用多CPU核的計算能力把硬盤的IO發揮到極致。

黑科技之三:集群組表

組表除了具備上述特性之外,還支持把數據分布在多臺機器上形成集群組表。集群組表可以利用多機並行來橫向擴展計算能力和存儲容量。在用法上,集群組表和普通組表是基本相同的。也就是說,集群組表是透明集群,使用者無需關心多節點組表的細節,可以當成一個組表來用。

黑科技之四:主附表統一

有些數據表是同維(一對一)關系或者主子關系。比如:客戶表、VIP客戶表;用戶基本信息、家庭信息、教育經歷、工作經歷;訂單、訂單明細。

主附表統一是指將同維表或者主子表放到一個組表中,只存放一份主鍵。還可以省去這些表的連接(JOIN)計算,減小存儲空間,有效提高性能。

黑科技之五:序號鍵技術

外鍵關系的連接(JOIN)計算也比較常見,比如銷售記錄表通過“商品編號”和商品表關聯。序號鍵技術就是把銷售記錄中的商品編號都改成整數,這個數就是該商品編號對應的商品在商品表中的次序號。

序號鍵技術使得外鍵連接(JOIN)計算可以直接使用序號定位,不需要計算和比較HASH值,減少計算時間,提高性能。同時,使用序號鍵技術這種外鍵式連接技術方案,很容易把多個連接(JOIN)並行執行。

黑科技之六:JDBC智能網關

集算器對外提供JDBC驅動和簡單SQL接口,具備可編程網關機制。通過編寫集算器內置的新一代編程語言SPL代碼,可以自由的實現高頻次熱點數據的計算規則。

可以考慮的計算規則包括:分析前端傳入的SQL過濾條件中的日期參數,如果命中集算器(倉庫版)已經緩存的日期,則認為是熱點數據,直接訪問。沒有命中,則將SQL轉發給後臺傳統數據庫執行。集算器還可以記錄訪問情況,用於分析熱點數據的時間和空間分布。


具備諸多黑科技的集算器(倉庫版)已經可以與傳統數據庫、內存數據庫等昂貴的產品一較高下,但是其價格卻又非常的實在和優惠。可以預見,這款產品必將為您的軟件項目帶來新的價值和機遇。現在,潤乾官網提供全功能的試用版本,立即下載體驗吧!


集算器(倉庫版)發布,黑科技獲得用戶好評