函式分類

HIVE CLI命令

顯示當前會話有多少函式可用 

SHOW FUNCTIONS;

顯示函式的描述資訊 

DESC FUNCTION concat;

顯示函式的擴充套件描述資訊 

DESC FUNCTION EXTENDED concat;

簡單函式

函式的計算粒度為單條記錄。 

關係運算 

數學運算 

邏輯運算 

數值計算 

型別轉換 

日期函式 

條件函式 

字串函式 

統計函式

聚合函式

函式處理的資料粒度為多條記錄。 

sum()—求和 

count()—求資料量 

avg()—求平均直 

distinct—求不同值數 

min—求最小值 

max—求最人值

集合函式

複合型別構建 

複雜型別訪問 

複雜型別長度

特殊函式

視窗函式

應用場景 

用於分割槽排序 

動態Group By 

Top N 

累計計算 

層次查詢

Windowing functions

lead

lag

FIRST_VALUE

LAST_VALUE

• 1
• 2
• 3
• 4

分析函式

Analytics functions

RANK

ROW_NUMBER

DENSE_RANK

CUME_DIST

PERCENT_RANK

NTILE

• 1
• 2
• 3
• 4
• 5
• 6

混合函式

java_method(class,method [,arg1 [,arg2])

reflect(class,method [,arg1 [,arg2..]])

hash(a1 [,a2...])

• 1
• 2
• 3

UDTF

lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*  

fromClause: FROM baseTable (lateralView)*  

• 1
• 2

ateral view用於和split, explode等UDTF一起使用，它能夠將一行資料拆成多行資料，在此基礎上可以對拆分後的資料進行聚合。lateral view首先為原始表的每行呼叫UDTF，UTDF會把一行拆分成一或者多行，lateral view再把結果組合，產生一個支援別名表的虛擬表。

常用函式Demo：

create table employee(

id string,

money double,

type string

)

row format delimited 

fields terminated by '\t' 

lines terminated by '\n' 

stored as textfile;

load data local inpath '/liguodong/hive/data' into table employee;

select * from employee;

優先順序依次為NOT AND OR

select id,money from employee where (id='1001' or id='1002') and money='100';

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

cast型別轉換

select cast(1.5 as int);

• 1

if判斷

if(con,'','');

hive (default)> select if(2>1,'YES','NO');

YES

• 1
• 2
• 3
• 4

case when con then '' when con then '' else  '' end (''裡面型別要一樣)

select case when id='1001' then 'v1001' when id='1002' then 'v1002' else 'v1003' end from employee;

• 1
• 2
• 3

get_json_object

get_json_object(json 解析函式，用來處理json，必須是json格式)

select get_json_object('{"name":"jack","age":"20"}','$.name');

• 1
• 2

URL解析函式

parse_url(string urlString, string partToExtract [, string keyToExtract])

select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST') from

employee limit 1;

• 1
• 2
• 3
• 4

字串連線函式： concat 

語法: concat(string A, string B…) 

返回值: string 

說明：返回輸入字串連線後的結果，支援任意個輸入字串 

舉例：

hive> select concat('abc','def’,'gh') from lxw_dual;

abcdefgh

• 1
• 2

帶分隔符字串連線函式： concat_ws 

語法: concat_ws(string SEP, string A, string B…) 

返回值: string 

說明：返回輸入字串連線後的結果， SEP 表示各個字串間的分隔符

concat_ws(string SEP, array<string>)

舉例：

hive> select concat_ws(',','abc','def','gh') from lxw_dual;

abc,def,gh

• 1
• 2
• 3
• 4
• 5

列出該欄位所有不重複的值，相當於去重

collect_set(id)  //返回的是陣列

列出該欄位所有的值，列出來不去重 

collect_list(id)   //返回的是陣列

select collect_set(id) from taborder;

• 1
• 2
• 3
• 4
• 5
• 6
• 7

求和

sum(money)

統計列數

count(*)

select sum(num),count(*) from taborder;

• 1
• 2
• 3
• 4
• 5
• 6
• 7

視窗函式

first_value(第一行值)

first_value(money) over (partition by id order by money)

select ch,num,first_value(num) over (partition by ch order by num) from taborder;

• 1
• 2
• 3
• 4
• 5

rows between 1 preceding and 1 following (當前行以及當前行的前一行與後一行)

hive (liguodong)> select ch,num,first_value(num) over (partition by ch order by num ROWS BETWEEN 2 PRECEDING AND CURRENT ROW) from taborder;

• 1
• 2
• 3
• 4

last_value 最後一行值

hive (liguodong)> select ch,num,last_value(num) over (partition by ch) from taborder;

• 1
• 2
• 3

 lead

 去當前行後面的第二行的值

 lead(money,2) over (order by money)

 lag 

 去當前行前面的第二行的值

 lag(money,2) over (order by money)

 ```

 ```

 select ch, num, lead(num,2) over (order by num) from taborder;

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

 select ch, num, lag(num,2) over (order by num) from taborder;

• 1

rank排名

rank() over(partition by id order by money)

• 1

select ch, num, rank() over(partition by ch order by num) as rank from taborder;

• 1

select ch, num, dense_rank() over(partition by ch order by num) as dense_rank from taborder;

• 1

cume_dist

cume_dist (相同值的最大行號/行數)

cume_dist() over (partition by id order by money)

percent_rank (相同值的最小行號-1)/(行數-1)

第一個總是從0開始

percent_rank() over (partition by id order by money)

 select ch,num,cume_dist() over (partition by ch order by num) as cume_dist,

 percent_rank() over (partition by ch order by num) as percent_rank

 from taborder;

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

 ntile分片 

 ntile(2) over (order by money desc)  分兩份 

 select ch,num,ntile(2) over (order by num desc) from taborder;

• 1
• 2
• 3
• 4

混合函式

select id,java_method("java.lang,Math","sqrt",cast(id as double)) as sqrt from hiveTest;

• 1

UDTF

 select id,adid 

 from employee 

 lateral view explode(split(type,'B')) tt as adid;

 explode 把一列轉成多行

hive (liguodong)>  select id,adid

                >  from hiveDemo

                >  lateral view explode(split(str,',')) tt as adid;

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

正則表示式 

使用正則表示式的函式 

regexp_replace(string subject A,string B,string C) 

regexp_extract(string subject,string pattern,int index)

hive> select regexp_replace('foobar', 'oo|ar', '') from lxw_dual;

fb

hive> select regexp_replace('979|7.10.80|8684', '.*\\|(.*)',1) from hiveDemo limit 1;

• 1
• 2
• 3
• 4

hive> select regexp_replace('979|7.10.80|8684', '(.*?)\\|(.*)',1) from hiveDemo limit 1;

• 1