1. 程式人生 > >大數據環境搭建(2)- hive客戶端安裝

大數據環境搭建(2)- hive客戶端安裝

where ecif tro 結構化 AR JD serve HERE lec

一、簡介

hive是基於hadoop的一種數據倉庫工具,可以將結構化的文件映射成為數據庫的一張表,並提供簡單sql查詢功能,底層實現是轉化為MapReduce任務計算。

二、安裝

(1)下載

從cdh下載頁下載

http://archive.cloudera.com/cdh5/cdh/5/

hive-1.1.0-cdh5.11.1.tar.gz

下載好後上傳至服務器的/home/hadoop/software,並解壓至/home/hadoop/app目錄下

mv hive-1.1.0-cdh5.11.1.tar.gz hive

(2)配置

配置hive-env.sh(在hive主目錄下的conf文件夾下)

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/hadoop/app/hadoop

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hadoop/app/hive/conf  

配置hive-site.xml

由於hive中的元數據(即所有的數據庫信息、表信息、及表字段信息)需要存儲在關系型數據庫中,而hive內置了derby數據庫,但是使用這個數據庫的缺點是,

hive提供的hiveserver2只能一個用戶訪問,所以需要配置mysql,使元數據存儲在mysql上

(3)安裝mysql

安裝mysql很容易,使用yum安裝即可

首先卸載已經有的mysql

sudo rpa -qa|grep mysql

sudo yum remove ...

sudo rm -rf /etc/my.conf

安裝:

sudo yum install mysql mysql-server mysql-devel -y

安裝完成後,設置為跟隨機器啟動

chkconfig --list |grep mysql

chkconfig mysqld on

啟動mysql服務

service mysqld start

設置mysql密碼

(一開始安裝好後,密碼為空直接進去即可)

mysql -uroot -p

進去命令行之後,設置密碼

SET PASSWORD=PASSWORD("123456")

設置所有用戶都可以用root用戶連接進來

use mysql; select user,host,password from user; update user set host=‘%‘ where user=‘root‘ and host=‘localhost‘;
即可 技術分享圖片

(4)配置hive的元數據服務 hive-site.xml
<configuration>
<property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://hadoop001:3306/metastore_new?createDatabaseIfNotExist=true</value>
          <description>JDBC connect string for a JDBC metastore</description>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
          <description>Driver class name for a JDBC metastore</description>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
          <description>username to use against metastore database</description>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
          <description>password to use against metastore database</description>
        </property>

		
		
        
        <property>
                <name>hive.server2.thrift.port</name>
                <value>10000</value>
        </property>

        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>hadoop001</value>
        </property>

        
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://hadoop001:9083</value>
        </property>
		<!--
        <property>
                <name>hive.aux.jars.path</name>
                <value>file:///user/jarpath/hive-hcatalog-core-0.13.1-cdh5.3.6.jar</value>
       </property>
	 -->

</configuration>

(5)下載mysql驅動包到hive的lib目錄下

(6)bin/hive

即可打開命令行

大數據環境搭建(2)- hive客戶端安裝