2安裝

          3.3測試

        關鍵字：Linux  Java  CentOS  Hadoop  Hive

         說明：安裝hive前提是要先安裝hadoop叢集，並且hive只需要再hadoop的namenode節點叢集裡安裝即可(需要再所有namenode上安裝)，可以不在datanode節點的機器上安裝。另外還需要說明的是，雖然修改配置檔案並不需要你已經把hadoop跑起來，但是本文中用到了hadoop命令，在執行這些命令前你必須確保hadoop是在正常跑著的，而且啟動hive的前提也是需要hadoop在正常跑著，所以建議你先將hadoop跑起來在按照本文操作。

        如何安裝和啟動hadoop叢集，請參考：

1下載hive

點選上圖的Download release now!

如圖：

如圖：

     點選進入：

2安裝

2.1上載和解壓縮

       在opt目錄下新建一個名為hive的目錄，將apache-hive-2.1.1-bin.tar.gz拷貝上去

       執行進入目錄的命令：

cd    /opt/hive

       執行解壓縮的命令：

tar  -zxvf  apache-hive-2.1.1-bin.tar.gz

2.2配置環境變數

編輯/etc/profile檔案，增加hive相關的環境變數配置

如圖：

該檔案中手工增加的內容是(橘黃色字型部分)：

export  JAVA_HOME=/opt/java/jdk1.8.0_121

export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop 

export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native 

export  HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib" 

export  HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin

export  HIVE_CONF_DIR=${HIVE_HOME}/conf 

export  CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH

export  PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:$PATH 

profile檔案編輯完成後，執行下面命令，讓配置生效，命令是;

          source     /etc/profile

         說明：上面的環境變數中只有JAVA_HOME相關的、HADOOP相關的、HIVE相關的是必須的， 相關的路徑必須要和你機器對應。

2.3對hive進行配置

2.3.1 hive-site.xml相關的配置

2.3.1.1新建hive-site.xml檔案

       進入到/opt/hive/apache-hive-2.1.1-bin/conf目錄，命令是：

cd   /opt/hive/apache-hive-2.1.1-bin/conf

       將hive-default.xml.template檔案複製一份，並且改名為hive-site.xml，命令是：

cp   hive-default.xml.template   hive-site.xml

2.3.1.2使用hadoop新建hdfs目錄

     因為在hive-site.xml中有這樣的配置：

  <name>hive.metastore.warehouse.dir</name>

  <value>/user/hive/warehouse</value>

   <name>hive.exec.scratchdir</name>

  <value>/tmp/hive</value>

       所以要讓hadoop新建/user/hive/warehouse目錄，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -mkdir   -p   /user/hive/warehouse

       給剛才新建的目錄賦予讀寫許可權，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -chmod   777   /user/hive/warehouse 

     如圖：

       讓hadoop新建/tmp/hive/目錄，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -mkdir  -p   /tmp/hive/

       如圖：

      給剛才新建的目錄賦予讀寫許可權，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -chmod  777   /tmp/hive

      如圖： 

2.3.1.3檢查hdfs目錄是否建立成功

        檢查/user/hive/warehouse目錄是否建立成功，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -ls   /user/hive/

         如圖：

檢查/tmp/hive是否建立成功，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -ls   /tmp/

        如圖：

2.3.1.4修改hive-site.xml中的臨時目錄

         將hive-site.xml檔案中的${system:java.io.tmpdir}替換為hive的臨時目錄，例如我替換為/opt/hive/tmp，該目錄如果不存在則要自己手工建立，並且賦予讀寫許可權。

        如圖：

       被我替換為了

        如圖：

       將${system:user.name}都替換為root

       如圖：

       被替換為了

       如圖：

           說明：截圖並不完整，只是截取了幾處以作舉例，你在替換時候要認真仔細的全部替換掉。

2.3.1.5修改hive-site.xml資料庫相關的配置

        搜尋javax.jdo.option.ConnectionURL，將該name對應的value修改為MySQL的地址，例如我修改後是：

     <name>javax.jdo.option.ConnectionURL</name>  

     <value>jdbc:mysql://192.168.27.138:3306/hive?createDatabaseIfNotExist=true</value>

     搜尋javax.jdo.option.ConnectionDriverName，將該name對應的value修改為MySQL驅動類路徑，例如我的修改後是：

  <property> 

        <name>javax.jdo.option.ConnectionDriverName</name> 

        <value>com.mysql.jdbc.Driver</value> 

 </property>      

      搜尋javax.jdo.option.ConnectionUserName，將對應的value修改為MySQL資料庫登入名：

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

     搜尋javax.jdo.option.ConnectionPassword，將對應的value修改為MySQL資料庫的登入密碼：

     <name>javax.jdo.option.ConnectionPassword</name>

     <value>cj</value>

      搜尋hive.metastore.schema.verification，將對應的value修改為false：

    <name>hive.metastore.schema.verification</name>

     <value>false</value>

2.3.1.6將MySQL驅動包上載到lib目錄

        將MySQL驅動包上載到Hive的lib目錄下，例如我是上載到/opt/hive/apache-hive-2.1.1-bin/lib目錄下。

如圖：

2.3.2新建hive-env.sh檔案並進行修改

       進入到/opt/hive/apache-hive-2.1.1-bin/conf目錄，命令是：

cd    /opt/hive/apache-hive-2.1.1-bin/conf

       將hive-env.sh.template檔案複製一份，並且改名為hive-env.sh，命令是：

cp    hive-env.sh.template    hive-env.sh

       開啟hive-env.sh配置並且新增以下內容：

export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

export  HIVE_CONF_DIR=/opt/hive/apache-hive-2.1.1-bin/conf

export  HIVE_AUX_JARS_PATH=/opt/hive/apache-hive-2.1.1-bin/lib

3啟動和測試

3.1對MySQL資料庫進行初始化

         進入到hive的bin目錄 執行命令：

  cd   /opt/hive/apache-hive-2.1.1-bin/bin

           對資料庫進行初始化，執行命令：

  schematool   -initSchema  -dbType  mysql

     如圖：

      執行成功後，hive資料庫裡已經有一堆表建立好了

     如圖：

3.1啟動hive

      進入到hive的bin目錄執行命令：

  cd   /opt/hive/apache-hive-2.1.1-bin/bin

       執行hive指令碼進行啟動，執行命令：

./hive

    如圖：

3.3測試

3.3.1 執行簡單測試命令

     執行了3.2的hive指令碼，啟動成功後，就進入了hive的命令列模式。下面進行一系列簡單測試：

     執行檢視函式的命令：

     show  functions;

    如圖：

執行檢視sum函式的詳細資訊的命令：

 desc function  sum;

     如圖：

3.3.2執行新建表以及匯入資料的測試

3.3.2.1新建資料庫

     執行新建資料庫的hive命令：

  create database  db_hive_edu;

   如圖：

3.2.2.2 建立資料表

   在剛才建立的資料庫中建立資料表，執行hive命令：

    use  db_hive_edu;

    create  table  student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

     如圖：

3.2.2.3將檔案資料寫入表中

 (1)在/opt/hive目錄內新建一個檔案

   執行Linux命令(最好是重新開啟一個終端來執行)：

   touch    /opt/hive/student.txt

  如圖：

  往檔案中新增以下內容：

如圖：

         說明：ID和name直接是TAB鍵，不是空格，因為在上面建立表的語句中用了terminated  by  '\t'所以這個文本里id和name的分割必須是用TAB鍵(複製貼上如果有問題，手動敲TAB鍵吧)，還有就是行與行之間不能有空行，否則下面執行load，會把NULL存入表內，該檔案要使用unix格式，如果是在windows上用txt文字編輯器編輯後在上載到伺服器上，需要用工具將windows格式轉為unix格式，例如可以使用Notepad++來轉換。

         完成上面的步驟後，在磁碟上/opt/hive/student.txt檔案已經建立成功，檔案中也已經有了內容，在hive命令列中執行載入資料的hive命令：

 load   data  local   inpath   '/opt/hive/student.txt'   into   table   db_hive_edu.student;

          如圖：

3.2.2.4檢視是否寫入成功

       執行命令，檢視是否把剛才檔案中的資料寫入成功，hive命令是：

select  *  from    student;

       如圖：

      說明：因為什麼的操作使用use  db_hive_edu;指定了資料庫，所以這裡直接用表名student，如果沒有指定資料庫，請把這個語句換成

                  select  *  from   db_hive_edu.student;

3.2.2.5在介面上檢視剛才寫入hdfs的資料

     我的hadoop的namenode的IP地址是192.168.27.134，所以我要在瀏覽器裡訪問如下地址：

     如圖：

    點選上圖的student,相當於是直接訪問該地址：

     如圖：

       點選student.txt，會彈出一個框

      如圖：

3.2.2.6在MySQL的hive資料庫中檢視

        在MySQL資料庫中執行select語句，檢視hive建立的表，SQL是：

SELECT  * FROM  hive.TBLS

如圖：

4錯誤和解決

4.1警告Unable to load native-hadoop library for yourplatform

            實際上其實這個警告可以不予理會。

4.2報錯There are 2 datanode(s) running and 2 node(s) areexcluded in this operation.

           報錯詳情：

hive> load data local inpath '/opt/hive/student.txt' intotable  db_hive_edu.student;

Loading data to table db_hive_edu.student

Failed with exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File/user/hive/warehouse/db_hive_edu.db/student/student_copy_2.txt could only bereplicated to 0 nodes instead of minReplication (=1).  There are 2 datanode(s) running and 2 node(s)are excluded in this operation.

        atorg.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1559)

        atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3245)

        atorg.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:663)

        atorg.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:482)

        atorg.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)

        atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)

        atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:975)

        atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2040)

        atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2036)

        atjava.security.AccessController.doPrivileged(Native Method)

        atjavax.security.auth.Subject.doAs(Subject.java:422)

        atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)

        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)

FAILED: Execution Error, return code 1 fromorg.apache.hadoop.hive.ql.exec.MoveTask.org.apache.hadoop.ipc.RemoteException(java.io.IOException): File/user/hive/warehouse/db_hive_edu.db/student/student_copy_2.txt could only bereplicated to 0 nodes instead of minReplication (=1).  There are 2 datanode(s) running and 2 node(s)are excluded in this operation.

        atorg.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1559)

        atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3245)

        atorg.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:663)

        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:482)

        atorg.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)

        atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)

        atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:975)

        atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2040)

        atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2036)

        atjava.security.AccessController.doPrivileged(Native Method)

        atjavax.security.auth.Subject.doAs(Subject.java:422)

        atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)

        atorg.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)

原因和解決：

原因是你的hadoop中的datanode有問題，沒發寫入資料，請檢查你的hadoop是否正常執行，看是否能正常訪問http://nodename的IP地址:50070

如果能正常訪問，在看datanode狀態是否正常，訪問地址是：

       如圖：

          如果不正常，請回頭檢查自己hadoop的安裝配置是否正確，hive的安裝和配置是否正確。

2安裝

          3.3測試

        關鍵字：Linux  Java  CentOS  Hadoop  Hive

         說明：安裝hive前提是要先安裝hadoop叢集，並且hive只需要再hadoop的namenode節點叢集裡安裝即可(需要再所有namenode上安裝)，可以不在datanode節點的機器上安裝。另外還需要說明的是，雖然修改配置檔案並不需要你已經把hadoop跑起來，但是本文中用到了hadoop命令，在執行這些命令前你必須確保hadoop是在正常跑著的，而且啟動hive的前提也是需要hadoop在正常跑著，所以建議你先將hadoop跑起來在按照本文操作。

        如何安裝和啟動hadoop叢集，請參考：

1下載hive

點選上圖的Download release now!

如圖：

如圖：

     點選進入：

2安裝

2.1上載和解壓縮

       在opt目錄下新建一個名為hive的目錄，將apache-hive-2.1.1-bin.tar.gz拷貝上去

       執行進入目錄的命令：

cd    /opt/hive

       執行解壓縮的命令：

tar  -zxvf  apache-hive-2.1.1-bin.tar.gz

2.2配置環境變數

編輯/etc/profile檔案，增加hive相關的環境變數配置

如圖：

該檔案中手工增加的內容是(橘黃色字型部分)：

export  JAVA_HOME=/opt/java/jdk1.8.0_121

export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop 

export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native 

export  HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib" 

export  HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin

export  HIVE_CONF_DIR=${HIVE_HOME}/conf 

export  CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH

export  PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:$PATH 

profile檔案編輯完成後，執行下面命令，讓配置生效，命令是;

          source     /etc/profile

         說明：上面的環境變數中只有JAVA_HOME相關的、HADOOP相關的、HIVE相關的是必須的， 相關的路徑必須要和你機器對應。

2.3對hive進行配置

2.3.1 hive-site.xml相關的配置

2.3.1.1新建hive-site.xml檔案

       進入到/opt/hive/apache-hive-2.1.1-bin/conf目錄，命令是：

cd   /opt/hive/apache-hive-2.1.1-bin/conf

       將hive-default.xml.template檔案複製一份，並且改名為hive-site.xml，命令是：

cp   hive-default.xml.template   hive-site.xml

2.3.1.2使用hadoop新建hdfs目錄

     因為在hive-site.xml中有這樣的配置：

  <name>hive.metastore.warehouse.dir</name>

  <value>/user/hive/warehouse</value>

   <name>hive.exec.scratchdir</name>

  <value>/tmp/hive</value>

       所以要讓hadoop新建/user/hive/warehouse目錄，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -mkdir   -p   /user/hive/warehouse

       給剛才新建的目錄賦予讀寫許可權，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -chmod   777   /user/hive/warehouse 

     如圖：

       讓hadoop新建/tmp/hive/目錄，執行命令：

$HADOOP_HOME/bin/hadoop   fs   -mkdir  -p   /tmp/hive/

       如圖：