1. 程式人生 > >HBase基礎知識

HBase基礎知識

一、HBase簡介 

       HBase是一個建立在Hadoop檔案系統之上的分散式的、面向列的開源資料庫,源於google的一篇論文《bigtable:一個結構化資料的分散式儲存系統》。HBase是Google Bigtable的開源實現,它利用Hadoop HDFS作為其檔案儲存系統,利用Hadoop MapReduce來處理HBase中的海量資料,利用Zookeeper作為協同服務。 

       HBase是一個數據模型,類似於谷歌的大表設計,可以提供快速隨機訪問海量結構化資料。它利用了Hadoop的檔案系統(HDFS)提供的容錯能力。它是Hadoop的生態系統,提供對資料的隨機實時讀/寫訪問,是Hadoop檔案系統的一部分。人們可以直接或通過HBase的儲存HDFS資料。使用HBase在HDFS讀取消費/隨機訪問資料。 HBase在Hadoop的檔案系統之上,並提供了讀寫訪問。

HBase Flow


二、HBase的儲存機制

        HBase是一個面向列的資料庫,在表中它由行排序。表模式定義只能列族,也就是鍵值對。一個表有多個列族以及每一個列族可以有任意數量的列。後續列的值連續地儲存在磁碟上。表中的每個單元格值都具有時間戳。總之,在一個HBase:

        表是行的集合。

        行是列族的集合

        列族是列的集合

        列是鍵值對的集合

三、HBase的表結構 

       HBase以表的形式儲存資料。表有行和列組成。列劃分為若干個列族/列簇(column family)。 

       1、Row Key (行鍵)



  與nosql資料庫們一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式: 

    (1) 通過單個row key訪問 

    (2) 通過row key的range 

    (3) 全表掃描 

  Row key行鍵 (Row key)可以是任意字串(最大長度是 64KB,實際應用中長度一般為 10-100bytes),在hbase內部,row key儲存為位元組陣列。 

  儲存時,資料按照Row key的字典序(byte order)排序儲存。設計key時,要充分排序儲存這個特性,將經常一起讀取的行儲存放到一起。(位置相關性) 

  (注意: 字典序對int排序的結果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行鍵必須用0作左填充。)

  行的一次讀寫是原子操作 (不論一次讀寫多少列)。這個設計決策能夠使使用者很容易的理解程式在對同一個行進行併發更新操作時的行為。 

  2、 column family (列族)


  hbase表中的每個列,都歸屬與某個列族。列族是表的schema的一部分(而列不是),必須在使用表之前定義。列名都以列族作為字首。例如courses:history , courses:math 都屬於 courses 這個列族。 

  訪問控制、磁碟和記憶體的使用統計都是在列族層面進行的。實際應用中,列族上的控制權限能幫助我們管理不同型別的應用:我們允許一些應用可以新增新的基本資料、一些應用可以讀取基本資料並建立繼承的列族、一些應用則只允許瀏覽資料(甚至可能因為隱私的原因不能瀏覽所有資料)。 

  3、Cell (單元 )

  HBase中通過row和columns確定的為一個存貯單元稱為cell。由{row key, column( =<family> + <label>), version} 唯一確定的單元。cell中的資料是沒有型別的,全部是位元組碼形式存貯。 

  4、timestamp(時間戳)

  每個cell都儲存著同一份資料的多個版本。版本通過時間戳來索引。時間戳的型別是 64位整型。時間戳可以由hbase(在資料寫入時自動 )賦值,此時時間戳是精確到毫秒的當前系統時間。時間戳也可以由客戶顯式賦值。如果應用程式要避免資料版本衝突,就必須自己生成具有唯一性的時間戳。每個 cell中,不同版本的資料按照時間倒序排序,即最新的資料排在最前面。 

  為了避免資料存在過多版本造成的的管理 (包括存貯和索引)負擔,hbase提供了兩種資料版本回收方式。一是儲存資料的最後n個版本,二是儲存最近一段時間內的版本(比如最近七天)。使用者可以針對每個列族進行設定。 

四、與RDBMS比較

                                         HBase                                         RDBMS
HBase無模式,它不具有固定列模式的概念;僅定義列族。 RDBMS有它的模式,描述表的整體結構的約束。
它專門建立為寬表。 HBase是橫向擴充套件。 這些都是細而專為小表。很難形成規模。
沒有任何事務存在於HBase。 RDBMS是事務性的。
它反規範化的資料。 它具有規範化的資料。
它用於半結構以及結構化資料是非常好的。 用於結構化資料非常好。