Hive 是基於Hadoop 構建的一套資料倉庫分析系統，它提供了豐富的SQL查詢方式來分析儲存在Hadoop 分散式檔案系統中的資料，可以將結構化的資料檔案對映為一張資料庫表，並提供完整的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行執行，通過自己的SQL 去查詢分析需要的內容，這套SQL 簡稱Hive SQL，使不熟悉mapreduce 的使用者很方便的利用SQL 語言查詢，彙總，分析資料。而mapreduce開發人員可以把己寫的mapper 和reducer 作為外掛來支援Hive 做更復雜的資料分析。

    它與關係型資料庫的SQL 略有不同，但支援了絕大多數的語句如DDL、DML 以及常見的聚合函式、連線查詢、條件查詢。HIVE不適合用於聯機，也不提供實時查詢功能。它最適合應用在基於大量不可變資料的批處理作業。

HIVE的特點：可伸縮（在Hadoop的叢集上動態的新增裝置），可擴充套件，容錯，輸入格式的鬆散耦合。

基本的Select 操作:

1. SELECT [ALL | DISTINCT] select_expr, select_expr, ...

2. FROM table_reference

3. [WHERE where_condition]

4. [GROUP BY col_list [HAVING condition]]

5. [ CLUSTER BY col_list

6. | [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list]

7. ]

8. [LIMIT number]

使用ALL和DISTINCT選項區分對重複記錄的處理。預設是ALL，表示查詢所有記錄。DISTINCT表示去掉重複的記錄。

•  Where 條件，類似我們傳統SQL的where 條件，目前支援 AND,OR ,0.9版本支援between
• IN, NOT IN
• 不支援EXIST ,NOT EXIST
• ORDER BY與SORT BY的不同：ORDER BY 全域性排序，只有一個Reduce任務；SORT BY 只在本機做排序
• Limit：Limit 可以限制查詢的記錄數

注：SELECT 語句可以使用正則表示式做列選擇

從SQL到HiveQL應轉變的習慣

1、Hive不支援等值連線

SQL中對兩表內聯可以寫成：

select * from dual a,dual b where a.key = b.key;

Hive中應為

select * from dual a join dual b on a.key = b.key;

而不是傳統的格式：

SELECT t1.a1 as c1, t2.b1 as c2FROM t1, t2

WHERE t1.a2 = t2.b2

2、分號字元

分號是SQL語句結束標記，在HiveQL中也是，但是在HiveQL中，對分號的識別沒有那麼智慧，例如：

select concat(key,concat(';',key)) from dual;

但HiveQL在解析語句時提示：

FAILED: Parse Error: line 0:-1 mismatched input '<EOF>' expecting ) in function specification

解決的辦法是，使用分號的八進位制的ASCII碼進行轉義，那麼上述語句應寫成：

select concat(key,concat('\073',key)) from dual;

3、IS [NOT] NULL

SQL中null代表空值, 值得警惕的是, 在HiveQL中String型別的欄位若是空(empty)字串, 即長度為0, 那麼對它進行IS NULL的判斷結果是False.

4、Hive不支援將資料插入現有的表或分割槽中，僅支援覆蓋重寫整個表，示例如下：

INSERT OVERWRITE TABLE t1

SELECT * FROM t2;

5、Hive 的巢狀查詢再必須給表起別名

如：select a.column

    from (select    *

        from 表1

        where dt = 20180528

        ) a           

group by   a.dt limit 100

6、當有兩個分割槽時，在使用where語句查詢的時候，必須將兩個分割槽都寫出來，如：

若表的分割槽有兩個dt日期和hr小時，我們想選擇20180608這一個分割槽的資料，則選擇條件為where dt = 20180608 and hr>=0