【大資料學習】之Hive部署
為了減少衝突,一般來說版本都用統一的比較好,所以選擇CDH的部署。
前面的hadoop是選擇hadoop-2.6.0-cdh5.7.0 ,所以hive安裝的版本跟hadooop的尾巴對準了。
2、ctrl+F 搜 hive-1.1.0-cdh5.7.0 , 右鍵選擇並點選 hive-1.1.0-cdh5.7.0.tar.gz,複製連結地址
3、下載和解壓
用wget開始下載,下載到app目錄,下載的速度有點慢,可以問朋友或同學共享一下。
下載好,就可以解壓了,tar xzvf hive-1.1.0-cdh5.7.0.tar.gz 解壓到當前目錄。即app目錄
順便熟悉一下解壓後的hive的各個目錄結構
bin--存放指令碼的;conf--存放配置檔案的;lib--存放依賴包
4、配置環境變數
配置個人環境變數 ~/.bash_profile, 在裡面新增
export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0 和 export PATH=$HIVE_HOME/bin:$PATH ,然後source ~/.bash_profile 生效一下, 可以用 echo $HIVE_HOME 看看
5、配置hive-env.sh
進conf目錄,一開始是沒有hive-env.sh這個檔案的,需要拷貝hive-env.sh.template並改名成hive-env.sh
在裡面新增
HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
6、在conf新增hive-site.xml,本來是沒有這個檔案的,需要另外新增hive-site.xml的,hive-site.xml配置的其實就是MySQL的相關資訊,具體內容如下
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/ruoze_d5?createDatabaseIfNotExist=true&characterEncoding=UTF-8</value> </property>
<property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property>
<property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> # 這個是連線資料庫的使用者名稱,要根據自己的情況修改 </property>
<property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> #這個是登入資料庫密碼,要根據自己的情況更改,本人的密碼是123456,所以這個root 就要改了。 </property>
<property> <name>hive.cli.print.current.db</name> <value>true</value> </property> </configuration>
7、既然要連mysql, 所以要拷貝mysql驅動到$HIVE_HOME/lib
8、啟動hdfs。既然要啟動hive,就要把hdfs啟起來。
9、啟動hive。
10、開啟mysql,用show databases 檢視一下建立ruoze_d5資料庫是否成功,看到已經有了。
user ruoze_d5 切換到該資料庫。用show tables; 看看有什麼表,看下圖,裡面的哪些表就是所謂的meta資訊。
到此。Hive部署完畢。