1. 程式人生 > >八年技術加持,性能提升10倍,阿裏雲HBase 2.0首發商用

八年技術加持,性能提升10倍,阿裏雲HBase 2.0首發商用

部分 png 數據處理 ces 可用 訂單 重要 級別 客戶

摘要: 早在2010年開始,阿裏巴巴集團開始研究並把HBase投入生產環境使用,從最初的淘寶歷史交易記錄,到螞蟻安全風控數據存儲,HBase在幾代阿裏專家的不懈努力下,已經表現得運行更穩定、性能更高效,內部HBase集群超過萬臺的規模,單集群超過千臺,是集團核心數據庫產品之一,也是國內甚至國際上絕對的HBase大戶。

阿裏雲HBase 2.0成長手記,含著金湯匙出身

HBase本身是一個分布式存儲、數據庫引擎,可以支持千萬的QPS、PB級別的存儲,這些都已經在生產環境驗證,並且在阿裏得以驗證。

早在2010年開始,阿裏巴巴集團開始研究並把HBase投入生產環境使用,從最初的淘寶歷史交易記錄,到螞蟻安全風控數據存儲,HBase在幾代阿裏專家的不懈努力下,已經表現得運行更穩定、性能更高效,內部HBase集群超過萬臺的規模,單集群超過千臺,是集團核心數據庫產品之一,也是國內甚至國際上絕對的HBase大戶。

為什麽HBase會受到大客戶的青睞。首先在這個上雲的時代,在雲上,對於引擎最為核心的就是存儲計算分離,存儲可以按需計費,起碼得彈性伸縮。計算則按節點存儲提供,完全按照QPS計費,要麽費用高得嚇人,要麽難以滿足更多的場景。

比如存儲10M,到底算一次QPS,還是多少次。 由於HBase天生就是存儲計算分離,天然比較適配雲上的架構,可以說到了雲上,HBase更加具有優勢。

所以國內大型互聯網企業內部都有大量的HBase集群,尤其阿裏更甚。自2012年誕生第一位“東八區” HBase committer,到今天,阿裏巴巴已經擁有3個PMC,6個committer,是中國擁有最多HBase committer的公司,其中HBase內核中超過200+重要的feature是阿裏貢獻。除了擁有強大的內核團隊和內核能力,HBase在內部經過雙十一等超級業務的千錘百煉,鍛煉出一系列的完善的產品形態和企業級能力。

潛心修煉八年,終成HBase2.0

基於阿裏長達8年和超萬臺實踐經驗和技術積累的延伸,ApsaraDB for HBase在基於社區的HBase的基礎上,推出了雲HBase服務。建立在阿裏雲龐大生態體系下,根據雲環境生態和HBase存儲系統的特點,推出適合企業嚴苛要求的雲HBase存儲系統。
HBase 2.0在性能,穩定性上做了一系列內核架構級別優化。這次阿裏雲基於社區HBase 2.0穩定版本基礎上,進行了進一步一系列性能和穩定性優化和測試驗證。

此次首發雲HBase 2.0雲服務,讓用戶可以第一時間體驗到阿裏技術加持的HBase 2.0新版本。

首先是針對企業不同的使用環境,不同的SLA訴求,雲HBase一共提供3個版本,分別滿足開發環境,在線業務,以及金融級業務的訴求。單節點版本,低廉的價格用於開發測試場景,集群版本,99.9%可用,滿足企業在線業務訴求,支持最高5000萬的QPS和10P的數據。還有支持金融級高可用的雙活版本。所有版本都支持11個9的數據可靠性,無需擔心數據丟失。

技術分享圖片

除了完善的產品形態,針對企業應用中成本、安全、穩定性、易用性等諸多訴求,阿裏雲HBase提供了強大的能力,例如存儲計算分離,按需彈性能力; 數據備份恢復能力;數據冷熱分離和分級存儲能力;SQL接口和強大的二級索引和倒排索引能力;多層次安全能力等等。

細數ApsaraDB HBase典型場景
雲HBase已經通過阿裏雲的公共雲、專有雲及混合雲的形態對外服務,用戶覆蓋社交、金融、車聯網、物流、零售、電商、共享出行等數十個行業,幫助用戶頂住千萬級QPS的業務壓力,以及PB級數據高效存儲和處理。

HBase2.0支持多region replicas服務,充分利用集群資源支持更高並發隨機讀。進一步加強了HBase高並發多讀能力,因此非常適合車聯網等物聯網場景。

除了在物聯網場景的應用,我們知道不少的頭條類、新聞類的的新聞、網頁、圖片存儲在HBase之中。HBase2.0支持中等對象存儲,兼容原生api讀寫訪問以及bulkload等,合適企業存儲一些附件文檔、圖片數據,而不需要企業另選其它對象存儲系統,大大簡化企業後臺數據架構。在存儲上支持各類數據,包括日誌、訂單、交易數據、消息等,在線實時寫入,實時查詢。

通過對讀寫全鏈路優化,rpc改進等,比隨機讀寫延時更低。同時滿足了金融級分控,推薦等核心場景的極致時延和穩定性要求。

小結
歷經近8年的技術沈澱,阿裏巴巴大數據NoSQL數據庫處理技術的精華沈澱在HBase上,後者成功支撐了成功支撐了阿裏經濟體中最大的NoSQL業務體量,是阿裏大數據處理技術的核心組成部分,當前將這項技術應用到廣大企業中,助力企業發現數據價值。

八年技術加持,性能提升10倍,阿裏雲HBase 2.0首發商用