2. 程式人生 > >使用HBase Indexer建立二級索引(整合最新版本的HBase1.2.6及Solr 7.2.1)

使用HBase Indexer建立二級索引(整合最新版本的HBase1.2.6及Solr 7.2.1)

阿新 • • 發佈：2019-02-04

這段時間整合HBase,需要為HBase建立二級索引,方便資料的查詢使用,Solr權威指南上面有Hbase與Solr的整合章節,照著書上以及網上的說明折騰了很近才配置成功,HBase Indexer已經有1年多沒有更新了,整合最新的HBase1.2.6,solr7.2.1有很多相關的介面都發送了變化

1.下載HBaseIndexer 專案:

官網:http://ngdata.github.io/hbase-indexer/

github:https://github.com/NGDATA/hbase-indexer

wiki(配置說明):https://github.com/NGDATA/hbase-indexer/wiki

sep tools cli說明(狀態監控):https://github.com/NGDATA/hbase-indexer/tree/master/hbase-sep/hbase-sep-tools

2.下載完成後修改根目錄的pom.xml

配置版本調整到我們需要的hbase及solr版本,version.solr.mapreduce及httpclient.core 是自己新增的版本號,需要修改pom內相應的位置,因為這兩個包跟主jar的版本不同步:

  <properties>
    <version.solr>7.2.1</version.solr>
    <version.solr.mapreduce>6.5.1</version.solr.mapreduce>
    <version.guava>12.0.1</version.guava>
    <version.joda-time>1.6</version.joda-time>
    <version.slf4j>1.7.7</version.slf4j>
    <version.hbase>1.2.6</version.hbase>
    <version.hadoop>2.7.4</version.hadoop>
    <version.zookeeper>3.4.6</version.zookeeper>
    <version.jackson>1.9.13</version.jackson>
    <!-- version.httpclient>4.3</version.httpclient -->
	<version.httpclient>4.5.3</version.httpclient>
	<version.httpclient.core>4.4.6</version.httpclient.core>
	<!--     <version.kite>0.13.0</version.kite> -->
    <version.kite>0.15.0</version.kite>
    <version.jersey>1.17</version.jersey>
    
    <version.surefire.plugin>2.19.1</version.surefire.plugin>
    <version.failsafe.plugin>${version.surefire.plugin}</version.failsafe.plugin>

    <!-- Tells maven plugins what file encoding to use -->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>
新增plugins方便提取jar: 
	  <plugin>  
            <groupId>org.apache.maven.plugins</groupId>  
            <artifactId>maven-dependency-plugin</artifactId>  
			<configuration>
				<outputDirectory>${project.build.directory}</outputDirectory>
				<excludeTransitive>false</excludeTransitive>
			</configuration>
        </plugin>
3.將專案匯入到eclipse(處理版本升級後帶來的編譯問題)
需要注意的是:pom.xml內有幾個外掛eclipse的m2eclipse外掛不相容,需要ctrl+i ignore掉:否則會提示Lifecycle問題 
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-antrun-plugin</artifactId>
        <versionRange>1.6</versionRange>

<groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-dependency-plugin</artifactId>
        <versionRange>2.8</versionRange>
如果在eclipse下面要執行專案的話,需要自己把這幾個外掛做的邏輯手動做一下:

(1).替換hbase-indexer-default.xml內的版本號

(2).生成hbase-indexer-common\src\main\java\com\ngdata\hbaseindexer\package-info.java 檔案:

@VersionAnnotation(version="1.6-SNAPSHOT", revision="Unknown",
                         user="root", date="Thu Feb  1 21:15:10 CST 2018", url="file:///E:/work/windtrend/hbase-indexer/hbase-indexer-common")
package com.ngdata.hbaseindexer;
server啟動的時候會檢測 @VersionAnnotation內的版本 (3).修改相應的編譯問題 4.修改完成後將整個目錄上傳到 linux,執行mvn進行編譯,(maven編譯的時候需要執行shell指令碼,windows下要編譯需要改pom.xml檔案) (1).mvn clean install -e -DskipTests           (2).mvn dependency:copy-dependencies  #抽取jar包 (3).mkdir lib (4).find ./ -type f -iname "*.jar" -exec cp {} lib/ \; #抽取jar包 (5).rm -rf lib/*-sources.jar (6).將目錄內的bin,conf,lib複製到到一個新資料夾如:hbase-indexer-1.6 (7).將hbase-indexer-1.6複製到部署環境即可 5.配置hbase-indexer (1).配置環境變數:(/etc/profile) export HBASE_INDEXER_HOME=XXX/hbase-indexer-1.6 (2).vi conf/hbase-indexer-env.sh  
export HBASE_INDEXER_HEAPSIZE=1024
export HBASE_INDEXER_LOG_DIR=$HBASE_INDEXER_HOME/logs
export HBASE_INDEXER_PID_DIR=$HBASE_INDEXER_HOME/pid
export HBASE_INDEXER_CLI_ZK=master,slave1,slave2,slave3
其它配置可根據情況進行修改,如遠端除錯: 
export HBASE_INDEXER_OPTS="$HBASE_INDEXER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8075"

(3).配置log4j.xml,專案內的log4j.properties有問題無法載入 (4).新建 order-indexer.xml 
<?xml version="1.0"?>
<indexer table="t_order" unique-key-field="id">
  <field name="number" value="f:number" type="string"/>
  <field name="source" value="f:source" type="int"/>
  <field name="tenantId" value="f:tenantId" type="int"/>
  <field name="userId" value="f:userId" type="int"/>
  <field name="storeId" value="f:storeId" type="int"/>
  <field name="storeName" value="f:storeName" type="string"/>
  <field name="storeNumber" value="f:storeNumber" type="string"/>
  <field name="userName" value="f:userName" type="string"/>
</indexer>
(5).新建order-schema.xml (找一個solr內的預設 schema修改即可) 
  <field name="number" type="string" indexed="true" stored="true"/>
  <field name="source" type="int"  indexed="true" stored="true"/>
  <field name="tenantId" type="int"  indexed="true" stored="true"/>
  <field name="userId" type="int"  indexed="true" stored="true"/>
  <field name="storeId" type="int"  indexed="true" stored="true"/>
  <field name="storeName" type="string"  indexed="true" stored="true"/>
  <field name="storeNumber" type="string"  indexed="true" stored="true"/>
  <field name="userName" type="string"  indexed="true" stored="true"/>

6.配置solr(solr必須是cloud模式,看了程式碼也可以是classic模式,但是classic模式內配置的引數全是solr.shard.xxx)

(1).配置solr cloud

(2).建立collection order

bin/solr create -c order
(3).上傳schema: 
./solr-7.2.1/server/scripts/cloud-scripts/zkcli.sh -z localhost:9983 -cmd putfile /configs/order/managed-schema $HBASE_INDEXER_HOME/index/order-schema.xml
注:zkcli是solr提供的指令碼


(4)配置solrconfig 軟提交:

./solr-7.2.1/server/scripts/cloud-scripts/zkcli.sh -z localhost:9983 -cmd  getfile /configs/order/solrconfig.xml $HBASE_INDEXER_HOME/index/solrconfig.xml
修改配置並上傳: 
    <autoSoftCommit>
      <maxTime>5000</maxTime>
      <maxDocs>100</maxDocs>  
    </autoSoftCommit>
(5) reload collection

7.配置hbase:

(1).拷貝jar包到hbase lib目錄

cp ./lib/hbase-sep* $HBASE_HOME/lib/
(2).開啟 replication,hbase-site.xml新增如下配置: 
	<property>
		<name>hbase.replication</name>
		<value>true</value>
	</property>
	<property>
		<name>replication.source.ratio</name>
		<value>1.0</value>
	</property>
	<property>
		<name>replication.source.nb.capacity</name>
		<value>1000</value>
	</property>
	<property>
		<name>replication.replicationsource.implementation</name>
		<value>com.ngdata.sep.impl.SepReplicationSource</value>
	</property>
(3).複製到各節點,並重啟hbase

8.執行: (1).執行hbase-indexer ./bin/hbase-indexer server (2).新增indexer 
./bin/hbase-indexer add-indexer \
                      --name orderindexer \
                      --indexer-conf index/order-indexer.xml \
                      --cp solr.zk=master:9983 \
                      --cp solr.collection=order

(3) 在hbase 內建立表

$ hbase shell
hbase> create 't_order', { NAME => 'f', REPLICATION_SCOPE => '1' }
hbase> put 't_order', 'row1', 'f:userId', 10000
hbase> put 't_order', 'row2', 'f:userId', 10000
(4),進入solr查詢就能看到結果

備註:

目前還沒辦法在windows環境下使用server,windows下面沒有辦法接受到SepEvent,除錯的話需要在linux下面或者開啟遠端debug,hbase-indexer-evn.sh 內有引數可以開啟;


幾個核心處理類:

事件入口:

com.ngdata.sep.impl.SepEventExecutor.scheduleEventBatch(int partition, List<SepEvent> events)

資料處理入口:

com.ngdata.hbaseindexer.indexer.Indexer$RowBasedIndexer

Indexer com.ngdata.hbaseindexer.mr.HBaseIndexerMapper.createIndexer(String indexName, Context context, IndexerConf indexerConf, String tableName, ResultToSolrMapper mapper, Map<String, String> indexConnectionParams) throws IOException, SharderException




參考:

官網:http://ngdata.github.io/hbase-indexer/

github:https://github.com/NGDATA/hbase-indexer

wiki(配置說明):https://github.com/NGDATA/hbase-indexer/wiki

sep tools cli說明(狀態監控):https://github.com/NGDATA/hbase-indexer/tree/master/hbase-sep/hbase-sep-tools


http://www.niuchaoqun.com/14543825447680.html
http://blog.csdn.net/d6619309/article/details/51500368

相關推薦

使用HBase Indexer建立二級索引(整合最新版本的HBase1.2.6及Solr 7.2.1)

這段時間整合HBase,需要為HBase建立二級索引,方便資料的查詢使用,Solr權威指南上面有Hbase與Solr的整合章節,照著書上以及網上的說明折騰了很近才配置成功,HBase Indexer已經有1年多沒有更新了,整合最新的HBase1.2.6,solr7.2.1有

HBase建立二級索引的一些解決方式

ack sca for done pseudo 100% hide shm range HBase的一級索引就是rowkey，我們僅僅能通過rowkey進行檢索。假設我們相對hbase裏面列族的列列進行一些組合查詢。就須要採用HBase的二級索引方案來進

HBase利用observer（協處理器）建立二級索引

一、協處理器—Coprocessor         1、 起源 Hbase 作為列族資料庫最經常被人詬病的特性包括：無法輕易建立“二級索引”，難以執 行求和、計數、排序等操作。比如，在舊版本的(<0.92)Hbase 中，統

CDH HBASE使用solr建立二級索引，更新刪除索引

關於為什麼要建立hbase二級索引，這裡不再贅述，直接開始安裝配置 1.環境準備           ①安裝HBASE，solr，Key-Value Store Indexer，這些在CDH

phoenix建立二級索引索要修改的配置

如果不進行任何配置，直接在phoenix上建立二級索引 ，比如 create index A_INDEX on "t_tablename"("from_account","to_account","quantity","status") include("fro

hbase-indexer建立indexer遇到的錯誤

ERROR indexer.ResultToSolrMapperFactory:Error instantiating ResultToSolrMapper for smsdayIndexer org.kitesdk.morphline.api.MorphlineCompi

HBase Region級別二級索引

我們會經常談及二級索引，這是對全表資料進行另外一種方式的組織儲存，是針對table級別的。如果要為HBase上的表實現一個強一致性的二級索引，那麼就無法逃避分散式事務，而這一直是使用者最期待的功能。 而即使只需要保證最終一致性，這個索引也並不好實現，因為你需要額外的表以儲存

Phoenix 建立二級索引，欄位順序問題

T_SHOW 表如下，其中SHOW_DATE、EMAIL是Row key： 我需要這樣查詢： select seq_id from T_SHOW where show_date='2018-11-24' and cam_site='cam4' order by s

centos 7.4 源碼安裝最新版本的lamp架構及搭建phpMyadmin

linux lampcentos 7.4 源碼安裝最新版本的lamp架構及搭建phpMyadmin 所需的壓縮包，如下圖： 1、安裝apache服務[root@lamp ~]# tar xf apr-1.6.2.tar.gz -C /opt/ //apache插件[ro

NIO入門案例使用netty最新版本框架程式碼實現及詳細註釋

使用的Nettyjar包：netty-all-4.1.27.Final.jar 專案結構： 服務端程式碼 package com.nio.netty.server; import io.netty.bootstrap.ServerBootstrap; import i

在centos6.5環境下搭建多版本python(python2.6、python2.7、python3.5)共存環境

可能存在的問題 yum安裝、原始碼安裝、二進位制安裝用哪個，官網文件是原始碼安裝，所以咱們就用原始碼安裝 在原始碼安裝的時候會有什麼問題 一個是預設路徑的問題，在編譯的時候時候如果不指定路徑的話，很多二進位制檔案會安裝到預設的目錄下/usr/bin下面，系

利用Solr建立HBase的二級索引

 public void insertSolr(Put put) {   CloudSolrServer cloudSolrServer;   final String zkHost = "IP:2181,IP:2181,IP:2181";   final int zkConnectTimeout = 1;

hbase二級索引構建

tables required family create tab ice converts length strong 參考學習hbase源代碼中的二級索引構建代碼 IndexBuilder.java /** * * Licensed to the Apache

HBase的二級索引

strong clean 查詢 問題 mvn clean 流程 zxvf oop sem HBase的二級索引，以及phoenix的安裝（需再做一次） 一：HBase的二級索引 1.講解 　　uid+ts 　　　　11111_20161126111111:查詢某一u

Hbase二級索引+CDH+Lily

1.更改表結構，允許複製 已存在的表 disable 'tableName' alter 'tableName',{NAME =>'fn', REPLICATION_SCOPE =>1} enable 'tableName' 不存在的表 create ‘table‘,{N

建立hbase-indexer出現 0 running

新建hbase-indexer後通過hbase-indexer list-indexers發現SEP subscription ID: null並且0 running processes，如下： INDEXER_NAME + Lifecycle state: ACTIVE

hadoop hbase與最新版本相容性

總：HBase 2.0+ 最低需要Java 8和Hadoop 2.6，需要ZooKeeper 3.4.x。 "S" = supported    "X" = not supported    "NT" = Not tested HBase-1.2.x

hbase協處理器與二級索引

一、協處理器—Coprocessor 1、 起源 Hbase 作為列族資料庫最經常被人詬病的特性包括：無法輕易建立“二級索引”，難以執 行求和、計數、排序等操作。比如，在舊版本的(<0.92)Hbase 中，統計資料表的總行數，需 要使用 Counte

Android Studio建立虛擬機器時可用版本列表只有最新的

解決辦法 因為缺少映象檔案 我記得用ADT時，映象檔案下載是包含在SDK列表裡的，但是我用的AS1.5，包都下載全了並沒有看到system image 要設定下先，勾選站點 2.勾選可下

HBase phoenix二級索引

1. 為什麼需要用二級索引? 對於HBase而言，如果想精確地定位到某行記錄，唯一的辦法是通過rowkey來查詢。如果不通過rowkey來查詢資料，就必須逐行地比較每一列的值，即全表掃瞄。對於較大的表，全表掃描的代價是不可接受的。但是，很多情況下，需要從多個角度查詢資料