Hive在集群環境配置
本文轉載自:https://blog.csdn.net/hanjin7278/article/details/53035739
一、簡介
hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,並提供簡單的sql查詢功能,可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合數據倉庫的統計分析。
二、環境要求
1、JDK1.7+
2、本次配置實例繼續上次HBase配置完成後繼續添加,如需使用請參考本人其他Zookeeper,Hadoop2.X,HBase集群環境配置 apache-hive-2.1.0-bin.tar.gz
4、mysql5.1+
三、開始安裝
1、在hadoop01上下載Hive發行版
wget http://apache.fayea.com/hive/stable-2/apache-hive-2.1.0-bin.tar.gz
2、解壓文件:tar -zxvf
apache-hive-2.1.0-bin.tar.gz
3、配置Hive環境變量
配置完成使用source /etc/profile
使其生效
4、安裝MySql
yum install mysql-server
##安裝Mysql服務 yum install mysql-server ##啟動服務 service mysqld start ##配置 /usr/bin/mysql_secure_installation chkconfig --level 235 mysqld on ##登錄Mysql mysql –u root –p ##創建Hive數據庫 create database hive; ##創建Hive用戶 create user "hive" identified by "hive"; GRANT ALL PRIVILEGES ON *.* TO ‘hive‘@‘%‘ IDENTIFIED BY ‘hive‘ WITH GRANT OPTION; flush privileges;
5、配置Hive
在$HIVE_HOME/conf/目錄中修改文件名
cp hive-default.xml.template hive-site.xml
修改hive-site.xml(刪除所有內容,只留一個)
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> <description>password to use against metastore database</description> </property> </configuration>
安裝hive和mysq完成後,將mysql的連接jar包拷貝到$HIVE_HOME/lib目錄下
初始化schema:schematool -initSchema -dbType mysql
6、測試使用
執行$HIVE_HOME/bin/hive 進入hive命令行模式
查看mysql:
創建表:
create table users(id string,name string,age int) row format delimited fields terminated by ‘\t‘;
查看hadoop的HDFS文件系統中是否由此文件夾
7、Hive配置完成,以後詳細介紹Hive分析數據的應用,希望那裏有問題大家可以提出寶貴意見共同探討。
Hive在集群環境配置