大數據環境搭建(2)- hive客戶端安裝
一、簡介
hive是基於hadoop的一種數據倉庫工具,可以將結構化的文件映射成為數據庫的一張表,並提供簡單sql查詢功能,底層實現是轉化為MapReduce任務計算。
二、安裝
(1)下載
從cdh下載頁下載
http://archive.cloudera.com/cdh5/cdh/5/
hive-1.1.0-cdh5.11.1.tar.gz
下載好後上傳至服務器的/home/hadoop/software,並解壓至/home/hadoop/app目錄下
mv hive-1.1.0-cdh5.11.1.tar.gz hive
(2)配置
配置hive-env.sh(在hive主目錄下的conf文件夾下)
# Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=/home/hadoop/app/hadoop # Hive Configuration Directory can be controlled by: export HIVE_CONF_DIR=/home/hadoop/app/hive/conf
配置hive-site.xml
由於hive中的元數據(即所有的數據庫信息、表信息、及表字段信息)需要存儲在關系型數據庫中,而hive內置了derby數據庫,但是使用這個數據庫的缺點是,
hive提供的hiveserver2只能一個用戶訪問,所以需要配置mysql,使元數據存儲在mysql上
(3)安裝mysql
安裝mysql很容易,使用yum安裝即可
首先卸載已經有的mysql
sudo rpa -qa|grep mysql
sudo yum remove ...
sudo rm -rf /etc/my.conf
安裝:
sudo yum install mysql mysql-server mysql-devel -y
安裝完成後,設置為跟隨機器啟動
chkconfig --list |grep mysqlchkconfig mysqld on
啟動mysql服務
service mysqld start
設置mysql密碼
(一開始安裝好後,密碼為空直接進去即可)
mysql -uroot -p
進去命令行之後,設置密碼
SET PASSWORD=PASSWORD("123456")
設置所有用戶都可以用root用戶連接進來
use mysql; select user,host,password from user; update user set host=‘%‘ where user=‘root‘ and host=‘localhost‘;(4)配置hive的元數據服務 hive-site.xml
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop001:3306/metastore_new?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> <description>password to use against metastore database</description> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>hadoop001</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://hadoop001:9083</value> </property> <!-- <property> <name>hive.aux.jars.path</name> <value>file:///user/jarpath/hive-hcatalog-core-0.13.1-cdh5.3.6.jar</value> </property> --> </configuration>
(5)下載mysql驅動包到hive的lib目錄下
(6)bin/hive
即可打開命令行
大數據環境搭建(2)- hive客戶端安裝