一、hive安裝(內建資料庫derby)
阿新 • • 發佈:2018-11-17
hive是一個數據倉庫工具,建立在hadoop之上,它的存在是為了讓大資料的查詢和分析更加的方便。hive提供簡單的sql查詢功能,並最終轉換為mapreduce任務執行。
一、環境
- JDK1.8+官方推薦新版JDK,否則可能存在不同版本不相容問題
- hadoop採用2.0+版本,否則hive2.0+將不支援hadoop1.0+
- Linux環境和window皆可作為生產環境,但是macos的話一般作為開發環境
本文采用centos7系統,JDk1.8,和hadoop2.9
JDK安裝參考:https://www.cnblogs.com/lay2017/p/7442217.html
hadoop單節點安裝參考: https://www.cnblogs.com/lay2017/p/9912381.html
hdfs單節點安裝配置:https://www.cnblogs.com/lay2017/p/9919905.html
以上,我們構建了JDK,hadoop以及配置了hadoop中的hdfs。hive將基於jdk和hadoop環境,將資料儲存在hdfs中。
同時,為了簡單,我們只進行單節點安裝配置,並只配置了hdfs,沒有mapreduce和yarn的配置。
以及,元資料儲存我們也不使用獨立的mysql或者derby,直接採用預設的內建資料庫derby,使用內建資料庫只會允許有一個connection,所以如果是生產環境通常是會使用獨立的資料庫mysql
這樣,我們就構建了hive的基本環境,接下來我們進行hive的安裝配置
二、hive安裝配置
我們先建立一個Hive目錄,然後進入該目錄
mkdirs /usr/local/hadoop/hive
cd /usr/local/hadoop/hive
本文采用1.2.2版本的hive,下載該tar包,這裡要等待一段時間
wget http://mirrors.hust.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz
然後解壓
tar apache-hive-1.2.2-bin.tar.gz
你可以看到解壓後的檔案
接下來我們需要給hive配置環境變數
當然,請確保你之前安裝的hadoop和jdk是可用的配置
使用命令,使得配置生效
source /etc/profile
我們進入hive目錄
cd /usr/local/hadoop/hive/apache-hive-1.2.2-bin
進入hive shell看看(請記得要先啟動hdfs:start-dfs.sh)
這樣就說明我們已經配置成功hive了,退出hive
我們看到該目錄下建立了metastore
這就意味著在apache-hive-1.2.2-bin目錄下存放著你的元資料,而下次你也得在這個目錄去啟動hive,如果在其他位置啟動Hive,你會找不到這些表而覺得奇怪。
以上,我們就簡單安裝配置了hive,併成功啟動hive shell同時自動建立了元資料資料庫(metastore_db);