Hive-1.2.1遠端模式的安裝和配置
阿新 • • 發佈:2019-01-28
準備工作
- 1.搭建好的Hadoop分散式系統
- 2.apache-hive-1.2.1-bin.tar.gz和mysql-connerctor-java-5.1.43-bin.jar
在mysql資料庫上建立hive資料庫用於儲存hive元資料
#mysql -u root -p
>輸入密碼
mysql>create database hive;
安裝
解壓apache-hive-1.2.1-bin.tar.gz
#tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/hadoop/
#cd /usr/local /hadoop
#mv apache-hive-1.2.1-bin hive-1.2.1
注:/usr/local/hadoop是我的hive安裝路徑
配置
1.由於hive需要訪問mysql資料庫上的元資料,所以需要匯入mysql-connerctor-java-5.1.43-bin.jar到hive-1.2.1/lib目錄下。
2.編輯配置檔案
#cd /usr/local/hadoop/hive-1.2.1/conf
#vim hive-site.xml
新增如下記錄
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://123.207.101.174:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value >
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>使用者名稱</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>密碼</value>
</property>
</configuration>
- 3.將hive匯入環境變數
#vim /etc/profile
新增如下記錄
HIVE_HOME=/usr/local/hadoop/hive-1.2.1
export PATH=$HIVE_HOME/bin:$PATH
使配置檔案生效
#source /etc/profile
配置簡單查詢的Fetch Task功能
簡單查詢:沒有排序,沒有函式的查詢稱為簡單查詢。
Fetch Task功能:使用該功能執行簡單查詢,查詢語句將不會被轉化為MapReduce任務,而是直接在HDFS檔案中查詢資料,提高了簡單查詢的效率。
配置Fetch Task功能的方式:
- hive>set hive.fetch.task.conversion=more;
或
- #hive –hiveconf hive.fetch.task.conversion=more
或
- 修改配置檔案hive-site.xml 新增如下記錄:
<property>
<name>hive.fetch.task.conversion</name>
<value>more</value>
</property>
驗證
在linux下輸入hive進入命令列模式
# hive
之前,我們在mysql資料庫上建立了一個用於儲存hive元資料的hive資料庫,此時,當看到如上顯示的時候,我們就可以去檢查一下hive資料庫中的元資料表是否建立成功,如果建立成功則會有如下顯示:
可以看到,之前建立的hive資料庫中初始化了一些儲存元資料的元資料表。