1. 程式人生 > >Hive叢集環境的搭建

Hive叢集環境的搭建

一、Hive簡介 
Hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 SQL 查詢功能,將類 SQL 語句轉換為 MapReduce 任務執行。 

二、環境準備 
zookeeper-3.4.6,hadoop-2.7.2 , mysql-5.7.24-linux-glibc2.12-x86_64
三臺機器: master 、slave1、slave2

對於zookeeper叢集環境的搭建請參考https://mp.csdn.net/postedit/84201320

對於hadoop叢集環境的搭建請參考

https://mp.csdn.net/postedit/84405238

對於MySQL的安裝請參考https://mp.csdn.net/postedit/84679543

三:hive環境的搭建

1.下載Hive2.1.1安裝包 
wget http://www.apache.org/dyn/closer.cgi/hive/ 
或者直接去國內的清華大學 網易等映象網站下載 
解壓至 /app/hive/目錄下,這樣管理目錄更清晰。 

tar -zxvf apache-hive-1.2.1-bin.tar.gz

2.配置環境變數 

vim /etc/profile

讓環境變數生效

source /etc/profile

3:修改hive配置檔案

cd apache-hive-1.2.1-bin/conf

修改hive-env.sh檔案

cp hive-env.sh.template hive-env.sh

將以下內容寫入到hive-env.sh檔案中

修改log4j檔案

cp hive-log4j.properties.template hive-log4j.properties

EventCounter修改成org.apache.hadoop.log.metrics.EventCounter

配置遠端登入模式

vim hive-site.xml

將以下資訊寫入到hive-site.xml檔案中

4:配置mysql-connector-java-5.0.3-bin.jar包

cd /lib

通過ftp上傳到/lib目錄下

檢視是否有mysql-connector-java-5.0.3-bin.jar包

ll my*

5:啟動hive

cd bin/hive

出現下面的結果則hive叢集環境搭建成功。