前言

最近接觸的專案中，需要針對HBase的資料進行索引查詢，主要支援中文查詢，分頁查詢等。在此情況下，學習了搜尋伺服器solr。總結了一些方法和經驗，正好可以分享個大家，鼓勵自己，共同學習。

使用目的

HBase目前只支援對rowkey的一級索引，對於二級索引還不支援，當然可以把所有要索引的欄位都拼接到rowkey中，根據hbase的filter功能進行查詢，但是這樣操作資料會涉及到全表掃描，效率很低，速度慢，不利於後期擴充套件。並且，通過HBase自己的索引，實現資料量統計，分頁，中文索引幾乎不可能。所以，基於solr為HBase建立索引，就顯得更有價值。

名詞解析

Solr： Solr是一個高效能，採用Java5開發，基於Lucene的全文搜尋伺服器。同時對其進行了擴充套件，提供了比Lucene更為豐富的查詢語言，同時實現了可配置、可擴充套件並對查詢效能進行了優化，並且提供了一個完善的功能管理介面，是一款非常優秀的全文搜尋引擎。Solr是一個獨立的企業級搜尋應用伺服器，它對外提供類似於Web-service的API介面。使用者可以通過http請求，向搜尋引擎伺服器提交一定格式的XML檔案，生成索引；也可以通過Http Get操作提出查詢請求，並得到XML格式的返回結果。

原理

基於Solr的HBase多條件查詢原理很簡單，將HBase表中涉及條件過濾的欄位和rowkey在Solr中建立索引，通過Solr的多條件查詢快速獲得符合過濾條件的rowkey值，拿到這些rowkey之後在HBASE中通過指定rowkey進行查詢。

環境搭建

 基於tomcat伺服器搭建solr的執行環境，參照slor官網  Solr with Apache Tomcat 

建立索引實現方式

 目前主流的通過solr在HBase之上建立索引，有三種方式：

1、  第一種方案是通過HBase的普通API獲取資料建立索引

優點：HBase與Solr彼此沒有任何耦合，通過外部java程式來控制索引的建立修改，整個系統的高可用性和容錯性有保證。

缺點：效率較低。每秒處理125條資料（加大執行緒可以提高效率）

基於本人PC測試：

執行緒數設定為10個，每秒可以處理294條資料

執行緒數設定為20個，每秒可以處理410條資料

執行緒數設定為25個，每秒可以處理376條資料

執行緒數設定為30個，每秒可以處理382條資料

2、  第二種方案是用到HBase的Mapreduce框架

優點：分散式並行執行效率特別高，處理1000萬條資料僅需5分鐘

缺點：但是這種高併發需要對Solr伺服器進行配置調優，不然會丟擲伺服器無法響應的異常。適合批量處理，資料量較小時不適合。

3、  第三種方案是在往HBase寫資料的過程中，觸發HBase的coprocessor的observer功能呼叫solr服務，建立solr索引。是在Base的中實現。

優點：外部呼叫端不需要考慮solr索引的建立問題，只需要呼叫HBase操作資料，索引的建立交給HBase呼叫Solr實現。

缺點：協處理器執行在和RegionServer相同的程序空間裡，出錯的協處理器有潛在可能使程序崩潰，導致HBase的資料出錯。

綜上所述，考慮到HBase叢集的高可用性、容錯性、擴充套件性等，建議主要使用第一種方案建立索引，第二種方案為輔助。