Apache CarbonData 1.5.0 釋出,華為大資料儲存方案
CarbonData 1.5.0 釋出了,該版本更貼近於統一分析。我們希望能夠從更多的引擎/庫中讀取CarbonData檔案,以支援各種用例。在這方面,我們增加了支援從C++庫讀取 CarbonData 檔案的支援。此外,可以使用Java SDK、Spark 檔案格式介面、Spark、Presto 等讀取 CarbonData 檔案。
此外 CarbonData 添加了多個優化以減少儲存大小,以便可以利用較小的IO進行查詢。對來自 CarbonData 的流支援進行了一些改進。
在該版本中,包含了超過 150 項 JIRA 的條目,包括新特性、改進和 bug 修復。詳細的列表請看 ofollow,noindex">發行說明 。
Apache® CarbonData™是由華為開源貢獻的大資料高效儲存格式解決方案。針對當前大資料領域分析場景需求各異而導致的儲存冗餘問題,CarbonData提供了一種新的融合資料儲存方案,以一份資料同時支援“互動式分析、詳單查詢、任意維度組合的過濾查詢等”多種大資料應用場景,並通過豐富的索引技術、字典編碼、列存等特性提升了IO掃描和計算效能,實現百億資料級秒級響應,與大資料生態Apache Hadoop、Apache Spark等無縫整合。