1. 程式人生 > >【大資料學習】之Hive部署

【大資料學習】之Hive部署

為了減少衝突,一般來說版本都用統一的比較好,所以選擇CDH的部署。

前面的hadoop是選擇hadoop-2.6.0-cdh5.7.0 ,所以hive安裝的版本跟hadooop的尾巴對準了。

2、ctrl+F 搜 hive-1.1.0-cdh5.7.0  , 右鍵選擇並點選 hive-1.1.0-cdh5.7.0.tar.gz,複製連結地址

3、下載和解壓

用wget開始下載,下載到app目錄,下載的速度有點慢,可以問朋友或同學共享一下。

下載好,就可以解壓了,tar xzvf   hive-1.1.0-cdh5.7.0.tar.gz   解壓到當前目錄。即app目錄

順便熟悉一下解壓後的hive的各個目錄結構

bin--存放指令碼的;conf--存放配置檔案的;lib--存放依賴包

4、配置環境變數

配置個人環境變數  ~/.bash_profile, 在裡面新增

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0 和 export PATH=$HIVE_HOME/bin:$PATH  ,然後source ~/.bash_profile  生效一下, 可以用 echo $HIVE_HOME 看看

5、配置hive-env.sh

進conf目錄,一開始是沒有hive-env.sh這個檔案的,需要拷貝hive-env.sh.template並改名成hive-env.sh

在裡面新增

HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

6、在conf新增hive-site.xml,本來是沒有這個檔案的,需要另外新增hive-site.xml的,hive-site.xml配置的其實就是MySQL的相關資訊,具體內容如下

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>     

<property>     <name>javax.jdo.option.ConnectionURL</name>         <value>jdbc:mysql://localhost:3306/ruoze_d5?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value>         </property>

<property>       <name>javax.jdo.option.ConnectionDriverName</name>         <value>com.mysql.jdbc.Driver</value>         </property>

<property>   <name>javax.jdo.option.ConnectionUserName</name>     <value>root</value>     # 這個是連線資料庫的使用者名稱,要根據自己的情況修改     </property>

<property>   <name>javax.jdo.option.ConnectionPassword</name>     <value>root</value>     #這個是登入資料庫密碼,要根據自己的情況更改,本人的密碼是123456,所以這個root 就要改了。     </property>

<property> <name>hive.cli.print.current.db</name> <value>true</value> </property> </configuration>  

7、既然要連mysql, 所以要拷貝mysql驅動到$HIVE_HOME/lib

8、啟動hdfs。既然要啟動hive,就要把hdfs啟起來。

9、啟動hive。 

10、開啟mysql,用show databases 檢視一下建立ruoze_d5資料庫是否成功,看到已經有了。

user ruoze_d5 切換到該資料庫。用show tables; 看看有什麼表,看下圖,裡面的哪些表就是所謂的meta資訊。

到此。Hive部署完畢。