2. 程式人生 > >Hive1.2.2的安裝和配置

Hive1.2.2的安裝和配置

阿新 • • 發佈：2018-05-18
man host 方法 location 可能 啟動 ast option method

Hadoop環境搭建筆記整理（四)——Hive1.2.2的安裝和配置

技術分享圖片 蘇洛爾寂 www.bdqll.top，別看了啥也沒有

一、是什麽和做什麽

1.什麽是Hive?

一個數據倉庫工具

Hive 的數據存儲在 HDFS 中，大部分的查詢由 MapReduce 完成

不可更改和添加數據

Hive 並非為聯機事務處理而設計，Hive 並不提供實時的查詢和基於行級的數據更新操作。Hive 的最佳使用場合是大數據集的批處理作業

上述的描述是從官方的角度。在學習過程中，對hadoop和hive關系的理解就是hadoop作為一個基本平臺包含一些基本功能，hive取其中一個部分，數據從平臺傳入經過hdfs，由hadoop自帶的mapreduce功能調用數據，使得數據進入hive得到處理。

技術分享圖片

2.在偽分布式集群搭好，mysql環境運行不出問題的基礎上安裝hive

二、安裝過程

1.在mysql端配置hive

a.進入mysql命令行，創建hive用戶並賦予所有權限：

mysql -uroot -proot

mysql>set password=password(‘root‘);

mysql>create user ‘hive‘ identified by ‘hive‘;

mysql>grant all on *.* TO ‘hive‘@‘%‘ identified by ‘hive‘ with grant option;

mysql>grant all on *.* TO ‘hive‘@‘localhost‘ identified by ‘hive‘ with grant option;

mysql>flush privileges;

b.使用hive用戶登錄，創建hive數據庫:

mysql -uhive -phive -h hadoop

mysql>create database hive;

mysql>show databases;

技術分享圖片

c.解壓mysql驅動包(先行解壓過hive包之後的操作）

Download Connector/J

解壓該安裝包並把該安裝包復制到/hive-x.x.x/lib目錄中

例如：cp mysql-connector-java-5.1.22-bin.jar /app/hive-1.2.2/lib

2.安裝hive

a.下載地址

Downloads

b.配置文件

（1）使用如下命令打開/etc/profile文件：

sudo vi /etc/profile

設置如下參數：

export HIVE_HOME=/.../hive-1.2.2

export PATH=$PATH:$HIVE_HOME/bin

export CLASSPATH=$CLASSPATH:$HIVE_HOME/bin

使配置文件生效：

source /etc/profile

echo $PATH

（2）

設置hive-env.sh配置文件

進入hive-1.2.2/conf目錄，復制hive-env.sh.templaete為hive-env.sh：

cd /.../hive-1.2.2/conf

cp hive-env.sh.template hive-env.sh

sudo vi hive-env.sh


分別設置HADOOP_HOME和HIVE_CONF_DIR兩個值：

# Set HADOOP_HOME to point to a specific hadoop install directory

export HADOOP_HOME=/.../hadoop-1.2.2

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/.../hive-1.2.2/conf

（3）設置hive-site.xml配置文件

復制hive-default.xml.templaete為hive-site.xml

cd /.../hive-1.2.2/conf

cp hive-default.xml.template hive-site.xml

sudo vi hive-site.xml

（4）修改 hive-site.xml

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/.../hive-1.2.2/warehouse</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/.../hive-1.2.2/scratchdir</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/.../hive-1.2.2/logs</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value> jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>*****(根據自己的用戶名填)</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>*****(根據自己的密碼填)</value>
</property>

（5）hive默認為derby數據庫，需要把相關信息調整為mysql數據庫

<property>

<name>hive.metastore.uris</name>

<value>thrift://hadoop:9083</value>（註意修改）

<description>Thrift URI for the remote metastore. ...</description>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://hadoop:3306/hive?=createDatabaseIfNotExist=true</value>

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive（根據自己設置的hive用戶名填寫）</value>

<description>username to use against metastore database</description>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive(根據自己設置的hive密碼填寫）</value>

<description>password to use against metastore database</description>

</property>


（由於hive版本不同可能會有個別配置文件的修改有不一樣的地方）

c.驗證

配置好Hive後，輸入hive命令啟動時會出現許多INFO和WARN信息。

技術分享圖片只要不報錯就沒什麽問題，原因是新的hadoop環境廢棄了某些參數。但是可以修改，網上教程我會貼在後面。

d.啟動

在使用hive之前需要啟動metastore和hiveserver服務，通過如下命令啟用：

hive --service metastore &

hive --service hiveserver2 &（版本在centos6.8-6.9請執行hive --service hiveserver）

技術分享圖片

啟動用通過jps命令可以看到兩個進行運行在後臺

技術分享圖片

e.操作驗證

登錄hive，在hive創建表並查看該表，命令如下：

hive

hive>create table test(a string, b int);

hive>show tables;

hive>desc test;

技術分享圖片

登錄mysql，在TBLS表中查看新增test表：

mysql -uhive -phive

mysql>use hive;

mysql>select TBL_ID, CREATE_TIME, DB_ID, OWNER, TBL_NAME,TBL_TYPE from TBLS;

技術分享圖片


三、註意事項和bug

a.執行hive命令出現INFO和WARN

$HADOOP_HOME/etc/hadoop/log4j.properties中將log4j.logger.org.apache.hadoop.conf.Configuration.deprecation打開。如下：


1. # Uncomment the following line to turn off configuration deprecation warnings.

2. log4j.logger.org.apache.hadoop.conf.Configuration.deprecation=WARN

無需重啟Hadoop，只需要重新啟動hive就會發現這些INFO都不見了。但是WARN還是會在。

Warn的解決方法： 加入配置項

（1）創建配置文件，直接copy默認配置文件再修改即可，用戶自定義配置會覆蓋默認配置
cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml
cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh
cp $HIVE_HOME/conf/hive-exec-log4j.properties.template $HIVE_HOME/conf/hive-exec-log4j.properties
cp $HIVE_HOME/conf/hive-log4j.properties.template $HIVE_HOME/conf/hive-log4j.properties

（2）修改 hive-log4j.properties
mkdir $HIVE_HOME/logs
vi $HIVE_HOME/conf/hive-log4j.properties
hive.log.dir=/opt/hive-1.2.1/logs

b.在hive啟動時遇到如下錯誤

[grid@Hadoop4 hadoop-2.7.2]$ hive

which: no HBase in(/home/grid/hadoop-2.7.2/bin:/usr/jdk1.8.0_91/bin:/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/grid/bin:/usr/local/apache-maven-3.3.9/bin:/home/grid/apache-ant-1.9.7/bin:/home/grid/apache-maven-3.3.9/bin:/home/grid/pig-0.16.0/bin:/home/grid/apache-hive-2.1.0-bin/bin)

SLF4J: Class path contains multiple SLF4Jbindings.

SLF4J: Found binding in[jar:file:/home/grid/apache-hive-2.1.0-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in[jar:file:/home/grid/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: SeeSLF4J Error Codes for an explanation.

SLF4J: Actual binding is of type[org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration injar:file:/home/grid/apache-hive-2.1.0-bin/lib/hive-common-2.1.0.jar!/hive-log4j2.propertiesAsync: true

Exception in thread "main" Java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D


解決方法：
在hive-site.xml中添加

<property>

<name>system:java.io.tmpdir</name>

<value>/home/grid/apache-hive-2.1.0-bin/tmpdir</value>

</property>

<property>

<name>system:user.name</name>

<value>hive</value>

</property>

c.執行 hive --service hiveserver 命令報錯

Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:274)
at org.apache.hadoop.util.RunJar.main(RunJar.java:205)

解決辦法： hive --service hiveserver2 使用hiveserver2

（我說過我們使用的環境是centos7,網上會有其他版本的資料，這個問題的主因是語句更新的問題）

d.use hive報錯

如圖

技術分享圖片

查自己數據庫的表格，輸入正確的名字

e.啟動hive時，出現CommandNeedRetryException異常

技術分享圖片

Exception in thread "main" java.lang.NoClassDefFoundError:org/apache/hadoop/hive/ql/CommandNeedRetryException

at java.lang.Class.forName0(Native Method)

at java.lang.Class.forName(Class.java:270)

at org.apache.hadoop.util.RunJar.main(RunJar.java:149)

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.CommandNeedRetryException

at java.net.URLClassLoader$1.run(URLClassLoader.java:366)

at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

由於以前使用hadoop時，修改hadoop-env.sh的HADOOP_CLASSPATH配置項，由以前的：

export HADOOP_CLASSPATH=/app/hadoop-x.x.x/myclass

修改為：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/app/hadoop-x.x.x/myclass

五、思考

hive在具體實踐當中是什麽角色？

轉載：https://zhuanlan.zhihu.com/p/27719499

Hive1.2.2的安裝和配置

相關推薦

Hive1.2.2的安裝和配置

man host 方法 location 可能 啟動 ast option method Hadoop環境搭建筆記整理（四)——Hive1.2.2的安裝和配置 蘇洛爾寂 www.bdqll.top，別看了啥也沒有 1 人贊了該文章 一、

在CDH上用外部Spark2.2.1安裝和配置 CarbonData

表示 相關 iyu top arch slaves path 中央倉庫 tar -zcvf 在CDH上用外部Spark2.2.1 （hadoop free版本）standalone 模式安裝和配置 CarbonData ===================

CentOS6.8下Nagios-4.2.0安裝和配置

因此 figure 問題 usermod linux文件 httpd的配置 pen kconfig etc 1實驗目標 掌握Nagios的安裝 2實驗環境 主機名：Nagios-Server 操作系統：CentOS release 6.8 (Final) IP地址：19

Sphinx 2.2.3 安裝和配置，英文數字中文搜尋

注：專案中，中文分詞比較少，所以直接使用原版Sphinx 一元分詞 作者：凨.FOX 編譯前， 先要把mysql安裝好。 開始安裝sphinx tar zxvf sphinx-2.2.3-beta.tar.gz cd sphinx-2.2.3-beta ./configu

redis3.2.8安裝和配置，及常用命令簡介

什麼redis？ redis是一個key-value儲存系統。和Memcached類似，它支援儲存的value型別相對更多，包括string(字串)、list(連結串列)、set(集合)、zset(sorted set –有序集合)和hash（雜湊型別）。這些

kamailio4.2.6 安裝和配置教程

下面就是安裝kamailio，我使用的是kamailio-4.2.6版本，下載後放在 /home/cuisy/download目錄下,然後  cd /home/cuisy/download tar zxvf kamailio-4.2.6.tar.gz cd kamailio-4.2.6 make

Ubuntu 下Apache安裝和配置2

spl pac ubuntu server ould start warn it works apache。 在Ubuntu上安裝Apache，有兩種方式：1 使用開發包的打包服務，例如使用apt-get命令；2 從源碼構建Apache。本文章將詳細描述這兩種不同的安裝方式

Cisco模擬器GNS3（2.0.0b4版本）安裝和配置

設備 適用於 實驗 交換機 運行時 裏的 https sco style GNS3（2.0.0b4版本）（適用於CCNA和CCNP） 下載地址：https://www.gns3.com/software 包含GNS3.exe和GSN3 VM 註意下載

Centos7.2安裝和配置Tomcat8

$path images 啟動 ane 關閉防火墻 fire jar spa 修改 一、安裝Centos7.2操作系統 由於以前操作文檔中涉及到Centos系統的安裝，在此不在詳細介紹， 具體安裝操作系統的詳細教程如下： http:

Jmeter 3.2 及外掛的安裝和配置

Jmeter 3.2 Jmeter 32 Java 8 安裝 下載安裝 設定環境變數 Jmeter 安裝 下載安裝 設定環境變數

2-4 虛擬環境的安裝和配置

  pip install virtualenv   安裝 django  pip install -i https://pypi.douban.com/simple/ django 新建 虛擬環境 virtualenv scrapytes

如何在Ubuntu 18.04上安裝和配置Apache 2 Web伺服器

什麼是Apache Web Server？ Apache或Apache HTTP伺服器是一個免費的開源Web伺服器，由Apache軟體基金(Apache Software Foundation)開發和維護。它的受歡迎程度可以通過以下事實來判斷：全球約有46％的網站由Apache提供支援。 Apache允許網

Windows下PHP7.2的安裝、配置和初體驗

下面來介紹PHP7.2的下載安裝配置和使用。 下載和安裝PHP 到官網地址下載zip包（下載地址），我這裡下的是64位非執行緒安全的7.2.11版。 下載好的zip包直接解壓就可以使用，建議是放到習慣的軟體目錄下，以方便管理。 雙擊php.exe就可以進入命令列互動模式，如下圖

Windows下安裝和配置PHP7.2

下面來介紹PHP7.2的下載安裝配置和使用。 下載和安裝PHP 到官網地址下載zip包（下載地址），我這裡下的是64位非執行緒安全的7.2.11版。 下載好的zip包直接解壓就可以使用，建議是放到習慣

oracle 10g 學習之客戶端安裝和配置（2）

概述 Oracle 資料庫是一種網路上的資料庫, 它在網路上支援多使用者, 支援伺服器/客戶機等部署(或配置) 伺服器與客戶機是軟體概念, 它們與計算機硬體不存在一一對應的關係. 即: 同一臺計算機既可以充當伺服器又可以充當客戶機, 或者, 一臺計算機只充當伺服器或只充當充當客戶機. Oracle 資料庫

測試hadoop-1.2.1是否成功安裝和配置

本文說明hadoop安裝之後驗證安裝和配置的方法，hadoop-1.2.1安裝方法參考：hadoop安裝成功之後，要簡單驗證是否成功安裝和配置，在hadoop-1.2.1安裝方法詳解教程中，已經通過jps命令簡單的驗證，這裡通過執行MapReduce作業統計單詞來進一步驗證

Hbase-1.2.6的安裝和配置

準備工作 1.搭建好的hadoop分散式叢集 2.hbase-1.2.6-bin.tar.gz 安裝 1.解壓hbase-1.2.6-bin.tar.gz完成安裝 #tar -zxvf hbase-1.2.6-bin.tar.gz -C

Hive-1.2.1遠端模式的安裝和配置

準備工作 1.搭建好的Hadoop分散式系統 2.apache-hive-1.2.1-bin.tar.gz和mysql-connerctor-java-5.1.43-bin.jar 在mysql資料庫上建立hive資料庫用於儲存hive元資料

Apache2.2+MySql5.5+PHP5.4的安裝和配置(windows)

Apache2.2+MySql5.5+PHP5.4的安裝和配置 phpMyAdmin的安裝和配置 安裝Apache2.2 Win32 Binaryincluding OpenSSL 0.9.8t (MSI Installer): httpd-2.2.22-win3

Hive1.2.1安裝和使用(基於Hadoop2.6.0)

安裝hive，這裡使用mysql作為hive的metastore; Ubuntu 15.10虛擬機器中安裝mysql方法請看：http://kevin12.iteye.com/admin/blogs/2280771Hadoop2.6.0叢集安裝：http://kevin12