1. 程式人生 > >一、hive安裝(內建資料庫derby)

一、hive安裝(內建資料庫derby)

hive是一個數據倉庫工具,建立在hadoop之上,它的存在是為了讓大資料的查詢和分析更加的方便。hive提供簡單的sql查詢功能,並最終轉換為mapreduce任務執行。

一、環境

  • JDK1.8+官方推薦新版JDK,否則可能存在不同版本不相容問題
  • hadoop採用2.0+版本,否則hive2.0+將不支援hadoop1.0+
  • Linux環境和window皆可作為生產環境,但是macos的話一般作為開發環境

本文采用centos7系統,JDk1.8,和hadoop2.9

JDK安裝參考:https://www.cnblogs.com/lay2017/p/7442217.html

hadoop單節點安裝參考:
https://www.cnblogs.com/lay2017/p/9912381.html

hdfs單節點安裝配置:https://www.cnblogs.com/lay2017/p/9919905.html

以上,我們構建了JDK,hadoop以及配置了hadoop中的hdfs。hive將基於jdk和hadoop環境,將資料儲存在hdfs中。

同時,為了簡單,我們只進行單節點安裝配置,並只配置了hdfs,沒有mapreduce和yarn的配置。

以及,元資料儲存我們也不使用獨立的mysql或者derby,直接採用預設的內建資料庫derby,使用內建資料庫只會允許有一個connection,所以如果是生產環境通常是會使用獨立的資料庫mysql

這樣,我們就構建了hive的基本環境,接下來我們進行hive的安裝配置

 

二、hive安裝配置

我們先建立一個Hive目錄,然後進入該目錄

mkdirs /usr/local/hadoop/hive
cd /usr/local/hadoop/hive

本文采用1.2.2版本的hive,下載該tar包,這裡要等待一段時間

wget http://mirrors.hust.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

然後解壓

tar apache-hive-1.2.2-bin.tar.gz

你可以看到解壓後的檔案

接下來我們需要給hive配置環境變數

當然,請確保你之前安裝的hadoop和jdk是可用的配置

使用命令,使得配置生效

source /etc/profile

我們進入hive目錄

cd /usr/local/hadoop/hive/apache-hive-1.2.2-bin

進入hive shell看看(請記得要先啟動hdfs:start-dfs.sh)

這樣就說明我們已經配置成功hive了,退出hive

我們看到該目錄下建立了metastore

這就意味著在apache-hive-1.2.2-bin目錄下存放著你的元資料,而下次你也得在這個目錄去啟動hive,如果在其他位置啟動Hive,你會找不到這些表而覺得奇怪。

以上,我們就簡單安裝配置了hive,併成功啟動hive shell同時自動建立了元資料資料庫(metastore_db);