1. 程式人生 > >Hive在集群環境配置

Hive在集群環境配置

工具 min star 通過 SQ 希望 XML UC use

本文轉載自:https://blog.csdn.net/hanjin7278/article/details/53035739

一、簡介

hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,並提供簡單的sql查詢功能,可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合數據倉庫的統計分析。

二、環境要求

1、JDK1.7+
2、本次配置實例繼續上次HBase配置完成後繼續添加,如需使用請參考本人其他Zookeeper,Hadoop2.X,HBase集群環境配置

3、本次使用Hive穩定版本apache-hive-2.1.0-bin.tar.gz
4、mysql5.1+

三、開始安裝

1、在hadoop01上下載Hive發行版

wget http://apache.fayea.com/hive/stable-2/apache-hive-2.1.0-bin.tar.gz

技術分享圖片

2、解壓文件:tar -zxvfapache-hive-2.1.0-bin.tar.gz

3、配置Hive環境變量

技術分享圖片

配置完成使用source /etc/profile使其生效

4、安裝MySql

yum install mysql-server

技術分享圖片

##安裝Mysql服務
    yum install mysql-server
    ##啟動服務
    service mysqld start
    ##配置
    /usr/bin/mysql_secure_installation
    chkconfig --level 235 mysqld on
    ##登錄Mysql
    mysql –u root –p
    ##創建Hive數據庫
    create database hive;
    ##創建Hive用戶
    create user "hive" identified by "hive";
    GRANT ALL PRIVILEGES ON *.* TO ‘hive‘@‘%‘ IDENTIFIED BY ‘hive‘ WITH GRANT OPTION;
    flush privileges;

5、配置Hive
在$HIVE_HOME/conf/目錄中修改文件名

cp hive-default.xml.template hive-site.xml

修改hive-site.xml(刪除所有內容,只留一個)

<configuration>
  <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</
value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> <description>password to use against metastore database</description> </property> </configuration>

安裝hive和mysq完成後,將mysql的連接jar包拷貝到$HIVE_HOME/lib目錄下

技術分享圖片

初始化schema:schematool -initSchema -dbType mysql

技術分享圖片

6、測試使用
執行$HIVE_HOME/bin/hive 進入hive命令行模式

技術分享圖片

查看mysql:

技術分享圖片

創建表:

create table users(id string,name string,age int) row format delimited fields terminated by ‘\t‘;

技術分享圖片

查看hadoop的HDFS文件系統中是否由此文件夾

技術分享圖片

7、Hive配置完成,以後詳細介紹Hive分析數據的應用,希望那裏有問題大家可以提出寶貴意見共同探討。

Hive在集群環境配置