Hive
什麼是Hive？
Hive是能夠用類SQL的方式操作HDFS裡面資料一個數據倉庫的框架，這個類SQL我們稱之為HQL（Hive Query Language）
資料倉庫？
存放資料的地方
資料倉庫裡面存放的是能夠為公司的各個級別的決策提供支撐的資料
公司要統計今年各個部門的業務完成指標，依次決定各個部門年終獎的發放，要依賴資料，資料從哪裡來？資料倉庫！
公司要依據前幾年的業務完成和發展情況，來依次制定明年的公司發展規劃，要依賴資料，資料從哪裡來？資料倉庫！
公司要開新品釋出會，要邀請10客戶和10大潛在客戶，怎麼獲取這些客戶呢，要依賴資料，資料從哪裡來？資料倉庫！
公司要針對某一使用者產品的使用情況，依據人物構建模型，來做人物畫像，要依賴資料，資料從哪裡來？資料倉庫！
提取轉化載入（ETL）
E：Extract（提取）
T：Transform（轉化）
L：Load（載入）
Hive的特徵
海量資料的儲存
海量資料的查詢
不支援事務性操作
Hive是SQL解析引擎，它將SQL語句轉譯成M/R Job然後在Hadoop執行。
Hive中的概念和HDFS裡面概念的對應
Hive中的表----HDFS裡面的目錄
Hive中的表中的資料----HDFS目錄下的（資料）檔案
Hive中的行列----HDFS資料檔案中的行列
部署時不一定放在叢集管理節點中，可以放在某個節點上
=======================================================================================
Hive的資料儲存
Hive的資料儲存基於Hadoop HDFS
Hive沒有專門的資料儲存格式
儲存結構主要包括：資料庫、檔案、表、檢視、索引
Hive預設可以直接載入文字檔案（TextFile），還支援SequenceFile、RCFile 
建立表時，指定Hive資料的列分隔符與行分隔符，Hive即可解析資料
Hive的提供架構
使用者介面主要有三個：CLI，JDBC/ODBC和 WebUI
CLI，即Shell命令列
JDBC/ODBC 是 Hive 的Java，與使用傳統資料庫JDBC的方式類似
WebGUI是通過瀏覽器訪問 Hive
Hive將元資料儲存在資料庫中(metastore)，目前只支援 mysql、derby。Hive 中的元資料包括表的名字，表的列和分割槽及其屬性，表的屬性（是否為外部表等），表的資料所在目錄等
直譯器、編譯器、優化器完成 HQL 查詢語句從詞法分析、語法分析、編譯、優化以及查詢計劃（plan）的生成。生成的查詢計劃儲存在 HDFS 中，並在隨後由 MapReduce 呼叫執行
Hive 的資料儲存在 HDFS 中，大部分的查詢由 MapReduce 完成（包含 * 的查詢，比如 select * from table 不會生成 MapRedcue 任務）
Hive的元資料Metastore
metastore是hive元資料的集中存放地。
metastore預設使用內嵌的derby資料庫作為儲存引擎
Derby引擎的缺點：一次只能開啟一個會話
使用MySQL作為外接儲存引擎，多使用者同時訪問 
==========================================================================================
Hive的安裝和使用
我的約定：
JAVA_HOME=/usr/local/jdk1.7.0_55
HADOOP_HOME=/usr/local/hadoop-2.6.0
HIVE_HOME=/usr/local/hive-0.14.0
1、Linux下面
線上安裝Mysql
1°、檢視mysql的依賴
rpm -qa | grep mysql
2°、刪除mysql的依賴
rpm -e --nodeps `rpm -qa | grep mysql`
3°、yum安裝mysql
yum -y install mysql-server
4°、啟動mysql服務
service mysqld start
5°、加入到開機啟動項
chkconfig mysqld on
6°、初始化配置mysql服務
whereis mysql_secure_installation
執行指令碼/usr/bin/mysql_secure_installation
7°、訪問mysql服務
mysql -h pc.study.crxy.cn -uroot -proot
問題：Host '192.168.1.102' is not allowed to connect to this MySQL server
解決辦法：
mysql> grant all privileges on *.* to 'root'@'%' identified by 'root';
mysql> flush privileges;
離線安裝Mysql
1°、檢視mysql的依賴
rpm -qa | grep mysql
2°、刪除mysql的依賴
rpm -e --nodeps `rpm -qa | grep mysql`或者
rpm -e --nodeps `rpm -qa | grep MySQL`
3°、離線安裝mysql
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm
4°、啟動mysql服務
service mysql start
5°、加入到開機啟動項
chkconfig mysql on
6°、初始化配置mysql服務
whereis mysql_secure_installation
執行指令碼/usr/bin/mysql_secure_installation
7°、訪問mysql服務
mysql -h pc.study.crxy.cn -uroot -proot
問題：Host '192.168.1.102' is not allowed to connect to this MySQL server
解決辦法：
mysql> grant all privileges on *.* to 'root'@'%' identified by 'root';
mysql> flush privileges;
2、安裝Hive
前提是：hadoop必須已經啟動了***
1°、解壓hive的安裝包
[[email protected] soft]# tar -zxvf apache-hive-0.14.0-bin.tar.gz -C ../
2°、備份配置檔案
[[email protected] conf]# cp hive-env.sh.template hive-env.sh
[[email protected] conf]# cp hive-default.xml.template hive-site.xml
3°、配置hive的配置檔案
1）、修改hive-env.sh
加入三行內容（大家根據自己的情況來新增）
JAVA_HOME=/usr/local/jdk1.7.0_55
   HADOOP_HOME=/usr/local/hadoop-2.6.0
   HIVE_HOME=/usr/local/hive-0.14.0
2）、修改hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://pc.study.crxy.cn:3306/job12_hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>crxy</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/usr/local/hive-0.14.0/tmp</value>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/usr/local/hive-0.14.0/tmp</value>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/usr/local/hive-0.14.0/tmp</value>
</property>
4°、拷貝mysql驅動到$HIVE_HOME/lib目錄下
[[email protected] bin]# cp /usr/local/soft/mysql-connector-java-5.1.17.jar ../lib/
5°、啟動Hive
[[email protected] bin]# ./hive <==>等價於
[[email protected] bin]# ./hive --service cli
=================================================================================================
Hive的使用方式
命令列方式cli：控制檯模式
指令碼檔案方式：實際生產中用的最多的方式
JDBC方式：hiveserver
web GUI介面 hwi方式
安裝Web GUI訪問方式的步驟
1、解壓hive原始碼到某個目錄，並進入到解壓後的一個子資料夾hwi(Hive web interface)
[[email protected] soft]# tar -zxvf apache-hive-0.14.0-src.tar.gz
[[email protected] soft]# cd apache-hive-0.14.0-src/hwi
2°、將hwi下面的web/打成一個war包
[[email protected] hwi]# jar cvfM0 hive-hwi-0.14.0.war -C web/ .
3°、將2°中的war拷貝到$HIVE_HOME/lib目錄下
[[email protected] hwi]# cp hive-hwi-0.14.0.war /usr/local/hive-0.14.0/lib/
4°、拷貝$JAVA_HOME/lib/tools.jar到$HIVE_HOME/lib目錄下
[[email protected] hwi]# cp /usr/local/jdk1.7.0_55/lib/tools.jar /usr/local/hive-0.14.0/lib/
5°、修改hive的配置檔案hive-site.xml
<property>
<name>hive.hwi.listen.host</name>
<value>pc.study.crxy.cn</value>
<description>This is the host address the Hive Web Interface will listen on</description>
</property>
<property>
<name>hive.hwi.listen.port</name>
<value>9999</value>.
<description>This is the port the Hive Web Interface will listen on</description>
</property>
<property>
<name>hive.hwi.war.file</name>
<value>lib/hive-hwi-0.14.0.war</value>
<description>This sets the path to the HWI war file, relative to ${HIVE_HOME}. </description>
</property>
6°、啟動hwi
[[email protected] bin]# ./hive --service hwi &
查詢9999埠程序
netstat -tunlp | grep 9999
7°、瀏覽器訪問hwi
http://<IP>:9999/hwi/
http://pc.study.crxy.cn:9999/hwi/
=================================================================================================
Hive CLI終端如何和Linux/hadoop fs進行互動
Linux;
hive>! linux命令;eg.
hive>!pwd;
hadoop：
hive> dfs option args; eg.
hive> dfs -ls /;

　　1°、linux終端
　　sh $HIVE_HOME/bin/hive -f hive.hql(的路徑)
sh $HIVE_HOME/bin/hive -hiveconf hive.exec.mode.local.auto=true -f hive.hql
　　2°、hive終端
　　hive> source hive.hql(hql指令碼的linux絕對或相對路徑)