1. 程式人生 > >Hive-1.2.1遠端模式的安裝和配置

Hive-1.2.1遠端模式的安裝和配置

準備工作

  • 1.搭建好的Hadoop分散式系統
  • 2.apache-hive-1.2.1-bin.tar.gz和mysql-connerctor-java-5.1.43-bin.jar

在mysql資料庫上建立hive資料庫用於儲存hive元資料

#mysql -u root -p
>輸入密碼

mysql>create database hive;

安裝

解壓apache-hive-1.2.1-bin.tar.gz

#tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/hadoop/
#cd /usr/local
/hadoop #mv apache-hive-1.2.1-bin hive-1.2.1

注:/usr/local/hadoop是我的hive安裝路徑

配置

  • 1.由於hive需要訪問mysql資料庫上的元資料,所以需要匯入mysql-connerctor-java-5.1.43-bin.jar到hive-1.2.1/lib目錄下。

  • 2.編輯配置檔案

#cd /usr/local/hadoop/hive-1.2.1/conf
#vim hive-site.xml

新增如下記錄

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://123.207.101.174:3306/hive</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value
>
</property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>使用者名稱</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>密碼</value> </property> </configuration>
  • 3.將hive匯入環境變數
#vim /etc/profile

新增如下記錄

HIVE_HOME=/usr/local/hadoop/hive-1.2.1
export PATH=$HIVE_HOME/bin:$PATH

使配置檔案生效

#source /etc/profile

配置簡單查詢的Fetch Task功能

簡單查詢:沒有排序,沒有函式的查詢稱為簡單查詢。
Fetch Task功能:使用該功能執行簡單查詢,查詢語句將不會被轉化為MapReduce任務,而是直接在HDFS檔案中查詢資料,提高了簡單查詢的效率。

配置Fetch Task功能的方式:
- hive>set hive.fetch.task.conversion=more;

- #hive –hiveconf hive.fetch.task.conversion=more

- 修改配置檔案hive-site.xml 新增如下記錄:

<property>
    <name>hive.fetch.task.conversion</name>
    <value>more</value>
</property>

驗證

在linux下輸入hive進入命令列模式

# hive

之前,我們在mysql資料庫上建立了一個用於儲存hive元資料的hive資料庫,此時,當看到如上顯示的時候,我們就可以去檢查一下hive資料庫中的元資料表是否建立成功,如果建立成功則會有如下顯示:

這裡寫圖片描述

可以看到,之前建立的hive資料庫中初始化了一些儲存元資料的元資料表。

Over