一文讀懂分散式資料庫Hbase

阿新 • • 發佈：2019-01-11

一、

1、什麼是Hbase。

是一個高可靠性、高效能、列儲存、可伸縮、實時讀寫的分散式資料庫系統。

適合於儲存非結構化資料，基於列的而不是基於行的模式

如圖：Hadoop生態中HBase與其他部分的關係。

2、關係資料庫已經流行很多年，並且Hadoop已經有了HDFS和MapReduce，為什麼需要HBase?

Hadoop可以很好地解決大規模資料的離線批量處理問題，但是，受限於HadoopMapReduce程式設計框架的高延遲資料處理機制，使得Hadoop無法滿足大規模資料實時處理應用的需求 HDFS面向批量訪問模式，不是隨機訪問模式傳統的通用關係型資料庫無法應對在資料規模劇增時導致的系統擴充套件性和效能問題（分庫分表也不能很好解決）

傳統關係資料庫在資料結構變化時一般需要停機維護；空列浪費儲存空間因此，業界出現了一類面向半結構化資料儲存和處理的高可擴充套件、低寫入/查詢延遲的系統，例如，鍵值資料庫、文件資料庫和列族資料庫（如BigTable和HBase等） HBase已經成功應用於網際網路服務領域和傳統行業的眾多線上式資料分析處理系統中 3、HBase與傳統的關係資料庫的區別（1）資料型別：關係資料庫採用關係模型，具有豐富的資料型別和儲存方式，HBase則採用了更加簡單的資料模型，它把資料儲存為未經解釋的字串（2）資料操作：關係資料庫中包含了豐富的操作，其中會涉及複雜的多表連線。HBase操作則不存在複雜的表與表之間的關係，只有簡單的插入、查詢、刪除、清空等

，因為HBase在設計上就避免了複雜的表和表之間的關係
（3）儲存模式：關係資料庫是基於行模式儲存的。HBase是基於列儲存的，每個列族都由幾個檔案儲存，不同列族的檔案是分離的（4）資料索引：關係資料庫通常可以針對不同列構建複雜的多個索引，以提高資料訪問效能。HBase只有一個索引——行鍵，通過巧妙的設計，HBase中的所有訪問方法，或者通過行鍵訪問，或者通過行鍵掃描，從而使得整個系統不會慢下來（5）資料維護：在關係資料庫中，更新操作會用最新的當前值去替換記錄中原來的舊值，舊值被覆蓋後就不會存在。而在HBase中執行更新操作時，並不會刪除資料舊的版本，而是生成一個新的版本，舊有的版本仍然保留

（6）可伸縮性：關係資料庫很難實現橫向擴充套件，縱向擴充套件的空間也比較有限。相反，HBase和BigTable這些分散式資料庫就是為了實現靈活的水平擴充套件而開發的，能夠輕易地通過在叢集中增加或者減少硬體數量來實現效能的伸縮二、Hbase資料模型

1、模型概述

HBase是一個稀疏、多維度、排序的對映表，這張表的索引是行鍵、列族、列限定符和時間戳每個值是一個未經解釋的字串，沒有資料型別使用者在表中儲存資料，每一行都有一個可排序的行鍵和任意多的列表在水平方向由一個或者多個列族組成，一個列族中可以包含任意多個列，同一個列族裡面的資料儲存在一起列族支援動態擴充套件，可以很輕鬆地新增一個列族或列，無需預先定義列的數量以及型別，所有列均以字串形式儲存，使用者需要自行進行資料型別轉換 HBase中執行更新操作時，並不會刪除資料舊的版本，而是生成一個新的版本，舊有的版本仍然保留（這是和HDFS只允許追加不允許修改的特性相關的）

2、資料座標
HBase中需要根據行鍵、列族、列限定符和時間戳來確定一個單元格，因此，可以視為一個“四維座標”，即[行鍵,列族, 列限定符,時間戳]

鍵	值
[“201505003”,“Info”,“email”, 1174184619081]	“[email protected]”
[“201505003”,“Info”,“email”, 1174184620720]	“[email protected]”

3、概念檢視

4、物理檢視

三、HBase實現原理

1、HBase的實現包括三個主要的功能元件：

（1）庫函式：連結到每個客戶端（2）一個Master主伺服器（3）許多個Region伺服器
主伺服器Master負責管理和維護HBase表的分割槽資訊，維護Region伺服器列表，分配Region，負載均衡 Region伺服器負責儲存和維護分配給自己的Region，處理來自客戶端的讀寫請求客戶端並不是直接從Master主伺服器上讀取資料，而是在獲得Region的儲存位置資訊後，直接從Region伺服器上讀取資料客戶端並不依賴Master，而是通過Zookeeper來獲得Region位置資訊，大多數客戶端甚至從來不和Master通訊，這種設計方式使得Master負載很小
2、Region
開始只有一個Region，後來不斷分裂 Region拆分操作非常快，接近瞬間，因為拆分之後的Region讀取的仍然是原儲存檔案，直到“合併”過程把儲存檔案非同步地寫到獨立的檔案之後，才會讀取新檔案同一個Region不會被分拆到多個Region伺服器
每個Region伺服器儲存10-1000個Region

元資料表，又名.META.表，儲存了Region和Region伺服器的對映關係當HBase表很大時， .META.表也會被分裂成多個Region 根資料表，又名-ROOT-表，記錄所有元資料的具體位置 -ROOT-表只有唯一一個Region，名字是在程式中被寫死的 Zookeeper檔案記錄了-ROOT-表的位置

客戶端訪問資料時的“三級定址”

為了加速定址，客戶端會快取位置資訊，同時，需要解決快取失效問題

定址過程客戶端只需要詢問Zookeeper伺服器，不需要連線Master伺服器

3、HBase的三層結構中各層次的名稱和作用

層次	名稱	作用
第一層	Zookeper檔案	記錄了-ROOT-表的位置資訊
第二層	-ROOT-表	記錄了.META.表的Region位置資訊 -ROOT-表只能有一個Region。通過-ROOT-表，就可以訪問.META.表中的資料
第三層	.META.表	記錄了使用者資料表的Region位置資訊，.META.表可以有多個Region，儲存了HBase中所有使用者資料表的Region位置資訊

四、HBase執行機制
1、HBase系統架構

(1、客戶端包含訪問HBase的介面，同時在快取中維護著已經訪問過的Region位置資訊，用來加快後續資料訪問過程
(2、Zookeeper可以幫助選舉出一個Master作為叢集的總管，並保證在任何時刻總有唯一一個Master在執行，這就避免了Master的“單點失效”問題（Zookeeper是一個很好的叢集管理工具，被大量用於分散式計算，提供配置維護、域名服務、分散式同步、組服務等。）

(3. Master 主伺服器Master主要負責表和Region的管理工作：管理使用者對錶的增加、刪除、修改、查詢等操作實現不同Region伺服器之間的負載均衡在Region分裂或合併後，負責重新調整Region的分佈對發生故障失效的Region伺服器上的Region進行遷移
(4. Region伺服器 Region伺服器是HBase中最核心的模組，負責維護分配給自己的Region，並響應使用者的讀寫請求 2、Region

(1、使用者讀寫資料過程
使用者寫入資料時，被分配到相應Region伺服器去執行使用者資料首先被寫入到MemStore和Hlog中只有當操作寫入Hlog之後，commit()呼叫才會將其返回給客戶端當用戶讀取資料時，Region伺服器會首先訪問MemStore快取，如果找不到，再去磁碟上面的StoreFile中尋找 (2、快取的重新整理
系統會週期性地把MemStore快取裡的內容刷寫到磁碟的StoreFile檔案中，清空快取，並在Hlog裡面寫入一個標記、
每次刷寫都生成一個新的StoreFile檔案，因此，每個Store包含多個StoreFile檔案每個Region伺服器都有一個自己的HLog檔案，每次啟動都檢查該檔案，確認最近一次執行快取重新整理操作之後是否發生新的寫入操作；如果發現更新，則先寫入MemStore，再刷寫到StoreFile，最後刪除舊的Hlog檔案，開始為使用者提供服務
(3、StroreFile的合併每次刷寫都生成一個新的StoreFile，數量太多，影響查詢速度呼叫Store.compact()把多個合併成一個合併操作比較耗費資源，只有數量達到一個閾值才啟動合併 3、Store工作原理
Store是Region伺服器的核心多個StoreFile合併成一個
觸發分裂操作，1個父Region被分裂成兩個子Region

單個StoreFile過大時，又 4、HLog工作原理
分散式環境必須要考慮系統出錯。HBase採用HLog保證系統恢復 HBase系統為每個Region伺服器配置了一個HLog檔案，它是一種預寫式日誌（WriteAhead Log）使用者更新資料必須首先寫入日誌後，才能寫入MemStore快取，並且，直到MemStore快取內容對應的日誌已經寫入磁碟，該快取內容才能被刷寫到磁碟
Zookeeper會實時監測每個Region伺服器的狀態，當某個Region伺服器發生故障時，Zookeeper會通知Master Master首先會處理該故障Region伺服器上面遺留的HLog檔案，這個遺留的HLog檔案中包含了來自多個Region物件的日誌記錄系統會根據每條日誌記錄所屬的Region物件對HLog資料進行拆分，分別放到相應Region物件的目錄下，然後，再將失效的Region重新分配到可用的Region伺服器中，並把與該Region物件相關的HLog日誌記錄也傳送給相應的Region伺服器 Region伺服器領取到分配給自己的Region物件以及與之相關的HLog日誌記錄以後，會重新做一遍日誌記錄中的各種操作，把日誌記錄中的資料寫入到MemStore快取中，然後，重新整理到磁碟的StoreFile檔案中，完成資料恢復共用日誌優點：提高對錶的寫操作效能；缺點：恢復時需要分拆日誌五、HBase效能
1、行鍵（RowKey）

行鍵是按照字典序儲存，因此，設計行鍵時，要充分利用這個排序特點，將經常一起讀取的資料儲存到一塊，將最近可能會被訪問的資料放在一塊。

舉個例子：如果最近寫入HBase表中的資料是最可能被訪問的，可以考慮將時間戳作為行鍵的一部分，由於是字典序排序，所以可以使用Long.MAX_VALUE- timestamp作為行鍵，這樣能保證新寫入的資料在讀取時可以被快速命中。

InMemory：建立表的時候，可以通過HColumnDescriptor.setInMemory(true)將表放到Region伺服器的快取中，保證在讀取的時候被cache命中。

Max Version：建立表的時候，可以通過HColumnDescriptor.setMaxVersions(int maxVersions)設定表中資料的最大版本，如果只需要儲存最新版本的資料，那麼可以設定setMaxVersions(1)。

Time To Live建立表的時候，可以通過HColumnDescriptor.setTimeToLive(inttimeToLive)設定表中資料的儲存生命期，過期資料將自動被刪除，例如如果只需要儲存最近兩天的資料，那麼可以設定setTimeToLive(2* 24 * 60 * 60)。

2、HBaseMaster預設基於Web的UI服務埠為60010，HBase region伺服器預設基於Web的UI服務埠為60030.如果master執行在名為master.foo.com的主機中，mater的主頁地址就是http://master.foo.com:60010，使用者可以通過Web瀏覽器輸入這個地址檢視該頁面可以檢視HBase叢集的當前狀態 3、NoSQL區別於關係型資料庫的一點就是NoSQL不使用SQL作為查詢語言，至於為何在NoSQL資料儲存HBase上提供SQL介面

易使用，減少編碼

4、HBase只有一個針對行健的索引

訪問HBase表中的行，只有三種方式：

通過單個行健訪問通過一個行健的區間來訪問全表掃描

總結：
1、HBase資料庫是BigTable的開源實現，和BigTable一樣，支援大規模海量資料，分散式併發資料處理效率極高，易於擴充套件且支援動態伸縮，適用於廉價裝置 2、HBase可以支援NativeJava API、HBaseShell、ThriftGateway、Hive等多種訪問介面，可以根據具體應用場合選擇相應訪問方式 3、HBase實際上就是一個稀疏、多維、持久化儲存的對映表，它採用行鍵、列鍵和時間戳進行索引，每個值都是未經解釋的字串。 4、HBase採用分割槽儲存，一個大的表會被分拆許多個Region，這些Region會被分發到不同的伺服器上實現分散式儲存 5、HBase的系統架構包括客戶端、Zookeeper伺服器、Master主伺服器、Region伺服器。客戶端包含訪問HBase的介面；Zookeeper伺服器負責提供穩定可靠的協同服務；Master主伺服器主要負責表和Region的管理工作；Region伺服器負責維護分配給自己的Region，並響應使用者的讀寫請求

一文讀懂分散式資料庫Hbase

一文讀懂分散式資料庫Hbase

一文讀懂資料庫原理

服務端技術進階(四)一篇文讀懂分散式系統本質：高吞吐、高可用、可擴充套件

一文讀懂微服務監控之分散式追蹤

一文讀懂 Redis 分散式部署方案

一文讀懂 SuperEdge 分散式健康檢查(雲端)

一文讀懂大數據計算框架與平臺

一文讀懂超簡單的 structured stream 源碼解讀

一文讀懂Spring Boot、微服務架構和大數據治理之間的故事

一文讀懂阻塞、非阻塞、同步、異步IO

一文讀懂架構師都不知道的isinstance檢查機制

【深度學習】一文讀懂機器學習常用損失函數（Loss Function）

從HTTP/0.9到HTTP/2：一文讀懂HTTP協議的歷史演變和設計思路

一文讀懂以太坊代幣合約

什麽是音視頻直播雲服務？一文讀懂

一文讀懂機器學習大殺器XGBoost原理

一文讀懂什麽是Java中的自動拆裝箱

一文讀懂高性能網絡編程中的I/O模型

一文讀懂充電寶usb接口電路及制作原理詳細

一文讀懂AI網路結構：LeNet-5 AlexNet VGG Inception ResNet MobileNet

一文讀懂分散式資料庫Hbase

相關推薦