1. 程式人生 > >Hive整合HBase --解決版本衝突

Hive整合HBase --解決版本衝突

筆者使用的是0.99.2這個版本的hbase.

第一步 : 拷貝hbase的jar包到hive

需要hbase下面的jar包到hive的lib目錄下

hbase-client-0.99.2.jar
hbase-common-0.99.2.jar
hbase-server-0.99.2.jar
hbase-common-0.99.2-tests.jar
hbase-protocol-0.99.2.jar
htrace-core-3.0.4.jar

在這裡插入圖片描述

在這裡插入圖片描述

第二步:修改配置檔案

修改hive-site.xml配置檔案
將上述jar包新增到hive-site.xml配置的hive.aux.jars.path屬性中。

在這裡插入圖片描述

<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hadoop/apps/hive/lib/hive-hbase-handler-1.2.1.jar,file:///home/hadoop/apps/hive/lib/zookeeper-3.4.6.jar,file:///home/hadoop/apps/hive/lib/hbase-client-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-common-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-server-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-common-0.99.2-tests.jar,file:///home/hadoop/apps/hive/lib/hbase-protocol-0.99.2.jar,file:///home/hadoop/apps/hive/lib/htrace-core-3.0.4.jar</value>
</property>

修改hive.zookeeper.quorum屬性

新增hbase.zookeeper.quorum屬性,此屬性hive-site.xml之前不存在。
新增自己的zookeeper節點

筆者是單機版本的,沒有寫這個屬性,也沒有報錯。

hive-env.sh配置檔案

複製一份hive-env.sh.template 改名為hive-env.sh
修改hive-env.sh配置檔案

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export HBASE_HOME=/home/hadoop/apps/hbase

啟動hive之前,先啟動hadoop,跟hbase,
然後啟動hive

bin/hive

bin/start-hbase
bin/hbase shell

進入hive:
隨便使用一個庫,建議不要使用default這個庫,測試下面的這條語句看一下能否正常執行:

create table hive_hbase_test(key int,value string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:val") tblproperties("hbase.table.name"="hive_hbase_test");

如果執行沒有報錯,能正常建立這張表,並且進去到hbase裡面:
在這裡插入圖片描述

這張表也建立成功,那麼Hive跟HBase的整合就成功了。

但是根本不是這樣,期間會報錯:
在這裡插入圖片描述

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V

這種錯就是由於Hive跟HBase的版本不相容的錯。

可以看下面這篇部落格,博主如何做的,我照著錯,能解決相容問題:
https://www.cppentry.com/bencandy.php?fid=117&id=181504

我已經編譯好了一份,可以直接使用:

https://pan.baidu.com/s/1Heil1vchKIazRCGSagZvCQ

筆者參考的部落格:
https://blog.csdn.net/dajiangtai007/article/details/79696853
https://blog.csdn.net/ddxygq/article/details/81709877
https://www.cnblogs.com/zlslch/p/8228781.html