centos7中基於hadoop安裝hive(CentOS7+hadoop2.8.0+hive2.1.1)
1下載hive
下載地址：http://hive.apache.org/downloads.html
點擊上圖的Download release now!
如圖：
點擊上圖的某個下載地址，我點擊的是國內的這個地址：http://mirror.bit.edu.cn/apache/hive/
如圖：
點擊進入：
apache-hive-2.1.1-bin.tar.gz
2安裝
2.1上載和解壓縮
在opt目錄下新建一個名為hive的目錄，將apache-hive-2.1.1-bin.tar.gz拷貝上去
執行進入目錄的命令：
cd /opt/hive
執行解壓縮的命令：
tar -zxvf apache-hive-2.1.1-bin.tar.gz
2.2配置環境變量
編輯/etc/profile文件，增加hive相關的環境變量配置
如圖：
該文件中手工增加的內容是(橘黃色字體部分)：
export JAVA_HOME=/opt/java/jdk1.8.0_121
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"
export HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:$PATH
profile文件編輯完成後，執行下面命令，讓配置生效，命令是;
source /etc/profile
說明：上面的環境變量中只有JAVA_HOME相關的、HADOOP相關的、HIVE相關的是必須的， 相關的路徑必須要和你機器對應。
2.3對hive進行配置
2.3.1 hive-site.xml相關的配置
2.3.1.1新建hive-site.xml文件
進入到/opt/hive/apache-hive-2.1.1-bin/conf目錄，命令是：
cd /opt/hive/apache-hive-2.1.1-bin/conf
將hive-default.xml.template文件復制一份，並且改名為hive-site.xml，命令是：
cp hive-default.xml.template hive-site.xml
2.3.1.2使用hadoop新建hdfs目錄
因為在hive-site.xml中有這樣的配置：
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<name>hive.exec.scratchdir</name>
<value>/tmp/hive</value>
所以要讓hadoop新建/user/hive/warehouse目錄，執行命令：
$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse
給剛才新建的目錄賦予讀寫權限，執行命令：
$HADOOP_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse
如圖：
讓hadoop新建/tmp/hive/目錄，執行命令：
$HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp/hive/
如圖：
給剛才新建的目錄賦予讀寫權限，執行命令：
$HADOOP_HOME/bin/hadoop fs -chmod 777 /tmp/hive
如圖：
2.3.1.3檢查hdfs目錄是否創建成功
檢查/user/hive/warehouse目錄是否創建成功，執行命令：
$HADOOP_HOME/bin/hadoop fs -ls /user/hive/
如圖：
檢查/tmp/hive是否創建成功，執行命令：
$HADOOP_HOME/bin/hadoop fs -ls /tmp/
如圖：
2.3.1.4修改hive-site.xml中的臨時目錄
將hive-site.xml文件中的${system:java.io.tmpdir}替換為hive的臨時目錄，例如我替換為/opt/hive/tmp，該目錄如果不存在則要自己手工創建，並且賦予讀寫權限。
如圖：
被我替換為了
如圖：
將${system:user.name}都替換為root
如圖：
被替換為了
如圖：
說明：截圖並不完整，只是截取了幾處以作舉例，你在替換時候要認真仔細的全部替換掉。
2.3.1.5修改hive-site.xml數據庫相關的配置
搜索javax.jdo.option.ConnectionURL，將該name對應的value修改為MySQL的地址，例如我修改後是：
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.27.138:3306/hive?createDatabaseIfNotExist=true</value>
搜索javax.jdo.option.ConnectionDriverName，將該name對應的value修改為MySQL驅動類路徑，例如我的修改後是：
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
搜索javax.jdo.option.ConnectionUserName，將對應的value修改為MySQL數據庫登錄名：
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
搜索javax.jdo.option.ConnectionPassword，將對應的value修改為MySQL數據庫的登錄密碼：
<name>javax.jdo.option.ConnectionPassword</name>
<value>cj</value>
搜索hive.metastore.schema.verification，將對應的value修改為false：
<name>hive.metastore.schema.verification</name>
<value>false</value>
2.3.1.6將MySQL驅動包上載到lib目錄
將MySQL驅動包上載到Hive的lib目錄下，例如我是上載到/opt/hive/apache-hive-2.1.1-bin/lib目錄下。
如圖：
2.3.2新建hive-env.sh文件並進行修改
進入到/opt/hive/apache-hive-2.1.1-bin/conf目錄，命令是：
cd /opt/hive/apache-hive-2.1.1-bin/conf
將hive-env.sh.template文件復制一份，並且改名為hive-env.sh，命令是：
cp hive-env.sh.template hive-env.sh
打開hive-env.sh配置並且添加以下內容：
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export HIVE_CONF_DIR=/opt/hive/apache-hive-2.1.1-bin/conf
export HIVE_AUX_JARS_PATH=/opt/hive/apache-hive-2.1.1-bin/lib
3啟動和測試
3.1對MySQL數據庫進行初始化
mysql 數據庫 創建hive用戶
和hive數據庫
進入到hive的bin目錄 執行命令：
cd /opt/hive/apache-hive-2.1.1-bin/bin
對數據庫進行初始化，執行命令：
schematool -initSchema -dbType mysql
如圖：
執行成功後，hive數據庫裏已經有一堆表創建好了
如圖：
3.1啟動hive
進入到hive的bin目錄執行命令：
cd /opt/hive/apache-hive-2.1.1-bin/bin
執行hive腳本進行啟動，執行命令：
./hive
如圖：
3.3測試
3.3.1 執行簡單測試命令
執行了3.2的hive腳本，啟動成功後，就進入了hive的命令行模式。下面進行一系列簡單測試：
執行查看函數的命令：
show functions;
如圖：
執行查看sum函數的詳細信息的命令：
desc function sum;
如圖：
3.3.2執行新建表以及導入數據的測試
3.3.2.1新建數據庫
執行新建數據庫的hive命令：
create database db_hive_edu;
如圖：
3.2.2.2 創建數據表
在剛才創建的數據庫中創建數據表，執行hive命令：
use db_hive_edu;
create table student(id int,name string) row format delimited fields terminated by ‘\t‘;
如圖：
3.2.2.3將文件數據寫入表中
(1)在/opt/hive目錄內新建一個文件
執行Linux命令(最好是重新打開一個終端來執行)：
touch /opt/hive/student.txt
如圖：
往文件中添加以下內容：
001 zhangsan
002 lisi
003 wangwu
004 zhaoliu
005 chenqi
如圖：
說明：ID和name直接是TAB鍵，不是空格，因為在上面創建表的語句中用了terminated by ‘\t‘所以這個文本裏id和name的分割必須是用TAB鍵(復制粘貼如果有問題，手動敲TAB鍵吧)，還有就是行與行之間不能有空行，否則下面執行load，會把NULL存入表內，該文件要使用unix格式，如果是在windows上用txt文本編輯器編輯後在上載到服務器上，需要用工具將windows格式轉為unix格式，例如可以使用Notepad++來轉換。
完成上面的步驟後，在磁盤上/opt/hive/student.txt文件已經創建成功，文件中也已經有了內容，在hive命令行中執行加載數據的hive命令：
load data local inpath ‘/opt/hive/student.txt‘ into table db_hive_edu.student;
如圖：
3.2.2.4查看是否寫入成功
執行命令，查看是否把剛才文件中的數據寫入成功，hive命令是：
select * from student;
如圖：
說明：因為什麽的操作使用use db_hive_edu;指定了數據庫，所以這裏直接用表名student，如果沒有指定數據庫，請把這個語句換成
select * from db_hive_edu.student;
3.2.2.5在界面上查看剛才寫入hdfs的數據
我的hadoop的namenode的IP地址是192.168.27.134，所以我要在瀏覽器裏訪問如下地址：
http://192.168.27.134:50070/explorer.html#/user/hive/warehouse/db_hive_edu.db
如圖：
點擊上圖的student,相當於是直接訪問該地址：
http://192.168.27.134:50070/explorer.html#/user/hive/warehouse/db_hive_edu.db/student
如圖：
點擊student.txt，會彈出一個框
如圖：
3.2.2.6在MySQL的hive數據庫中查看
在MySQL數據庫中執行select語句，查看hive創建的表，SQL是：
SELECT * FROM hive.TBLS
如圖：
4錯誤和解決
4.1警告Unable to load native-hadoop library for yourplatform
實際上其實這個警告可以不予理會。
4.2報錯There are 2 datanode(s) running and 2 node(s) areexcluded in this operation.
報錯詳情：
hive> load data local inpath ‘/opt/hive/student.txt‘ intotable db_hive_edu.student;
Loading data to table db_hive_edu.student
Failed with exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File/user/hive/warehouse/db_hive_edu.db/student/student_copy_2.txt could only bereplicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and 2 node(s)are excluded in this operation.
atorg.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1559)
atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3245)
atorg.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:663)
atorg.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:482)
atorg.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)
atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:975)
atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2040)
atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2036)
atjava.security.AccessController.doPrivileged(Native Method)
atjavax.security.auth.Subject.doAs(Subject.java:422)
atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)
FAILED: Execution Error, return code 1 fromorg.apache.hadoop.hive.ql.exec.MoveTask.org.apache.hadoop.ipc.RemoteException(java.io.IOException): File/user/hive/warehouse/db_hive_edu.db/student/student_copy_2.txt could only bereplicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and 2 node(s)are excluded in this operation.
atorg.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1559)
atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3245)
atorg.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:663)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:482)
atorg.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)
atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:975)
atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2040)
atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2036)
atjava.security.AccessController.doPrivileged(Native Method)
atjavax.security.auth.Subject.doAs(Subject.java:422)
atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)
atorg.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)
原因和解決：
原因是你的hadoop中的datanode有問題，沒發寫入數據，請檢查你的hadoop是否正常運行，看是否能正常訪問http://nodename的IP地址:50070
例如我的是http://192.168.27.134:50070
如果能正常訪問，在看datanode狀態是否正常，訪問地址是：
http://192.168.27.134:50070/dfshealth.html#tab-datanode
如圖：
如果不正常，請回頭檢查自己hadoop的安裝配置是否正確，hive的安裝和配置是否正確。
centos7中基於hadoop安裝hive(CentOS7+hadoop2.8.0+hive2.1.1)