2. 程式人生 > >Hive分析窗口函數(一) SUM,AVG,MIN,MAX

Hive分析窗口函數(一) SUM,AVG,MIN,MAX

阿新 • • 發佈：2017-12-22
nal text 3.3 如果 htm 相關 com 註意 分析

Hive分析窗口函數(一) SUM,AVG,MIN,MAX

Hive分析窗口函數(一) SUM,AVG,MIN,MAX

Hive中提供了越來越多的分析函數，用於完成負責的統計分析。抽時間將所有的分析窗口函數理一遍，將陸續發布。

今天先看幾個基礎的，SUM、AVG、MIN、MAX。

用於實現分組內所有和連續累積的統計。

數據準備

  1. CREATE EXTERNAL TABLE lxw1234 (
  2. cookieid string,
  3. createtime string, --day
  4. pv INT
  5. ) ROW FORMAT DELIMITED
  6. FIELDS TERMINATED BY ‘,‘
  7. stored as textfile location ‘/tmp/lxw11/‘;
  9. DESC lxw1234;
  10. cookieid STRING
  11. createtime STRING
  12. pv INT
  14. hive> select * from lxw1234;
  15. OK
  16. cookie1 2015-04-10 1
  17. cookie1 2015-04-11 5
  18. cookie1 2015-04-12 7
  19. cookie1 2015-04-13 3
  20. cookie1 2015-04-14 2
  21. cookie1 2015-04-15 4
  22. cookie1 2015-04-16 4

SUM — 註意,結果和ORDER BY相關,默認為升序

  1. SELECT cookieid,
  2. createtime,
  3. pv,
  4. SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默認為從起點到當前行
  5. SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --從起點到當前行，結果同pv1
  6. SUM(pv) OVER(PARTITION BY cookieid) AS pv3, --分組內所有行
  7. SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4, --當前行+往前3行
  8. SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5, --當前行+往前3行+往後1行
  9. SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6 ---當前行+往後所有行
  10. FROM lxw1234;
  12. cookieid createtime pv pv1 pv2 pv3 pv4 pv5 pv6
  13. -----------------------------------------------------------------------------
  14. cookie1 2015-04-10 1 1 1 26 1 6 26
  15. cookie1 2015-04-11 5 6 6 26 6 13 25
  16. cookie1 2015-04-12 7 13 13 26 13 16 20
  17. cookie1 2015-04-13 3 16 16 26 16 18 13
  18. cookie1 2015-04-14 2 18 18 26 17 21 10
  19. cookie1 2015-04-15 4 22 22 26 16 20 8
  20. cookie1 2015-04-16 4 26 26 26 13 13 4

pv1: 分組內從起點到當前行的pv累積，如，11號的pv1=10號的pv+11號的pv, 12號=10號+11號+12號
pv2: 同pv1
pv3: 分組內(cookie1)所有的pv累加
pv4: 分組內當前行+往前3行，如，11號=10號+11號， 12號=10號+11號+12號， 13號=10號+11號+12號+13號， 14號=11號+12號+13號+14號
pv5: 分組內當前行+往前3行+往後1行，如，14號=11號+12號+13號+14號+15號=5+7+3+2+4=21
pv6: 分組內當前行+往後所有行，如，13號=13號+14號+15號+16號=3+2+4+4=13，14號=14號+15號+16號=2+4+4=10

如果不指定ROWS BETWEEN,默認為從起點到當前行;
如果不指定ORDER BY，則將分組內所有值累加;
關鍵是理解ROWS BETWEEN含義,也叫做WINDOW子句：
PRECEDING：往前
FOLLOWING：往後
CURRENT ROW：當前行
UNBOUNDED：起點，UNBOUNDED PRECEDING 表示從前面的起點， UNBOUNDED FOLLOWING：表示到後面的終點

–其他AVG，MIN，MAX，和SUM用法一樣。

  1. --AVG
  2. SELECT cookieid,
  3. createtime,
  4. pv,
  5. AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默認為從起點到當前行
  6. AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --從起點到當前行，結果同pv1
  7. AVG(pv) OVER(PARTITION BY cookieid) AS pv3, --分組內所有行
  8. AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4, --當前行+往前3行
  9. AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5, --當前行+往前3行+往後1行
  10. AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6 ---當前行+往後所有行
  11. FROM lxw1234;
  12. cookieid createtime pv pv1 pv2 pv3 pv4 pv5 pv6
  13. -----------------------------------------------------------------------------
  14. cookie1 2015-04-10 1 1.0 1.0 3.7142857142857144 1.0 3.0 3.7142857142857144
  15. cookie1 2015-04-11 5 3.0 3.0 3.7142857142857144 3.0 4.333333333333333 4.166666666666667
  16. cookie1 2015-04-12 7 4.333333333333333 4.333333333333333 3.7142857142857144 4.333333333333333 4.0 4.0
  17. cookie1 2015-04-13 3 4.0 4.0 3.7142857142857144 4.0 3.6 3.25
  18. cookie1 2015-04-14 2 3.6 3.6 3.7142857142857144 4.25 4.2 3.3333333333333335
  19. cookie1 2015-04-15 4 3.6666666666666665 3.6666666666666665 3.7142857142857144 4.0 4.0 4.0
  20. cookie1 2015-04-16 4 3.7142857142857144 3.7142857142857144 3.7142857142857144 3.25 3.25 4.0
  1. --MIN
  2. SELECT cookieid,
  3. createtime,
  4. pv,
  5. MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默認為從起點到當前行
  6. MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --從起點到當前行，結果同pv1
  7. MIN(pv) OVER(PARTITION BY cookieid) AS pv3, --分組內所有行
  8. MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4, --當前行+往前3行
  9. MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5, --當前行+往前3行+往後1行
  10. MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6 ---當前行+往後所有行
  11. FROM lxw1234;
  13. cookieid createtime pv pv1 pv2 pv3 pv4 pv5 pv6
  14. -----------------------------------------------------------------------------
  15. cookie1 2015-04-10 1 1 1 1 1 1 1
  16. cookie1 2015-04-11 5 1 1 1 1 1 2
  17. cookie1 2015-04-12 7 1 1 1 1 1 2
  18. cookie1 2015-04-13 3 1 1 1 1 1 2
  19. cookie1 2015-04-14 2 1 1 1 2 2 2
  20. cookie1 2015-04-15 4 1 1 1 2 2 4
  21. cookie1 2015-04-16 4 1 1 1 2 2 4
  1. ----MAX
  2. SELECT cookieid,
  3. createtime,
  4. pv,
  5. MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默認為從起點到當前行
  6. MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --從起點到當前行，結果同pv1
  7. MAX(pv) OVER(PARTITION BY cookieid) AS pv3, --分組內所有行
  8. MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4, --當前行+往前3行
  9. MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5, --當前行+往前3行+往後1行
  10. MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6 ---當前行+往後所有行
  11. FROM lxw1234;
  13. cookieid createtime pv pv1 pv2 pv3 pv4 pv5 pv6
  14. -----------------------------------------------------------------------------
  15. cookie1 2015-04-10 1 1 1 7 1 5 7
  16. cookie1 2015-04-11 5 5 5 7 5 7 7
  17. cookie1 2015-04-12 7 7 7 7 7 7 7
  18. cookie1 2015-04-13 3 7 7 7 7 7 4
  19. cookie1 2015-04-14 2 7 7 7 7 7 4
  20. cookie1 2015-04-15 4 7 7 7 7 7 4
  21. cookie1 2015-04-16 4 7 7 7 4 4 4

其他函數的介紹將陸續整理發布。。

Hive分析窗口函數(一) SUM,AVG,MIN,MAX

相關推薦

Hive分析窗口函數(一) SUM,AVG,MIN,MAX

nal text 3.3 如果 htm 相關 com 註意 分析 Hive分析窗口函數(一) SUM,AVG,MIN,MAX Hive分析窗口函數(一) SUM,AVG,MIN,MAX Hive中提供了越來越多的分析函數，用於完成負責的統計分析。抽時間將所有的分析窗口函

Hive學習之路 （十五）Hive分析窗口函數(三) CUME_DIST和PERCENT_RANK

select rank com ble class mina src format () 這兩個序列分析函數不是很常用，這裏也練習一下。 數據準備 數據格式 cookie3.txt d1,user1,1000 d1,user2,2000 d1,user3,

Hive窗口函數

列名 lar hit ack apache fff tro 地址 lang 參考地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics 環境準備：

Hive窗口函數之LAG、LEAD、FIRST_VALUE、LAST_VALUE的用法

desc lead erb ive limit row next 可選 分組 一、創建表： create table windows_ss ( polno string, eff_date string, userno string ) ROW FO

一道hive面試題（窗口函數）

import color 格式 win lin nbsp 面試 select eight 表student中的數據格式如下： name month degree s1 201801 As1 201802 As1 201803 Cs1 201804 As1 2

PostgreSQL>窗口函數的用法

cti wid 查詢語句 業務開發 只需要 表結構 需求 數據庫 target PostgreSQL之窗口函數的用法 轉載請註明出處:https://www.cnblogs.com/funnyzpc/p/9311281.html 　　PostgreSQL的高級特性本

窗口函數/解析函數

value 標準差 log 參數 ear select語句 tro 最小 bound 分析函數是以一定的方法在一個與當前行相關的結果子集中進行計算，也稱為窗口函數。 Function(arg1 , arg2 ……) over(partition by clause orde

SQLServer 窗口函數（轉載）

cas where partition etime bold info dog 例如 jpg 一、窗口函數的作用 窗口函數是對一組值進行操作，不需要使用GROUP BY 子句對數據進行分組，還能夠在同一行中同時返回基礎行的列和聚合列。窗口函數，基礎列和聚合列的查

SQL 開窗函式over 與sum(),AVG(),MIN(),MAX()

1.使用over子句與rows_number()以及聚合函式進行使用，可以進行編號以及各種操作。而且利用over子句的分組效率比group by子句的效率更高。 2.在訂單表（order）中統計中，生成這麼每一條記錄都包含如下資訊：“所有訂單的總和”、“每一位客戶的所有訂單的

Hive分析窗體函數之SUM，AVG，MIN和MAX

align 4.5 版本 bottom pos right adding track mat Hive中提供了非常多的分析函數，用於完畢負責的統計分析。本文先介紹SUM、AVG、MIN、MAX這四個函數。環境信息：Hive版本號為apache-hive-0.14.0-b

Socket (一) 基礎及接口函數

聲明 雙向 之一 限制 log 初始化 路徑名 ipv4 sockfd 　　Socket,又稱為套接字，Socket是計算機網絡通信的基本的技術之一。如今大多數基於網絡的軟件，如瀏覽器，即時通訊工具甚至是P2P下載都是基於Socket實現的。本篇會介紹一下基於TCP/IP的

NumPy常用函數(一)——構造數組函數及代碼示例

unp tom 形狀 top instance produce base dom 新的 　　NumPy是Python的一個科學計算的基本模塊。它是一個Python庫，提供了一個多維數組對象，各種衍生對象（如屏蔽數組和矩陣），以及用於數組，數學，邏輯，形狀操縱，排序，選擇，I

jQuery分析(2) - $工廠函數分析

bject 所有 合並 ams cto cnblogs rip 詳細 blog jQuery分析(2) - $工廠函數分析 前言 從這節進入jQuery的世界，首先從jQuery的入口函數開始了解jQuery()或$是如何運作的，這裏我給出了一

做一個好的接口函數

lec 指針 lur exce div dia i++ printf urn 定義一群接口一樣的函數,使用聯合體結構體函數指針; #include "stdio.h" typedef unsigned char u8; typedef

重修課程day15（函數之內置函數一）

字符串 hashlib模塊 dsa urn 叠代 sys 打開 call class 什麽是內置函數：別人已經定義好了的函數，我們只管拿來調用就好 locals：局部作用域中的變量 globals：全局作用域中的變量 這兩者在全局執行，結果一樣；在局部中locals表示函數

Python 函數(一）

外部 odi pre int 結束 uno 中一 utf-8 過去 定義一個函數 函數的第一行語句可以選擇性地使用文檔字符串—用於存放函數說明。 函數內容以冒號起始，並且縮進。 return [表達式] 結束函數，選擇性地返回一個值給調用方。不帶

python函數 一

nco span 初識 odin () 字符串 引入 有一個 輸入 函數 一。函數的初識 比如：我們測量一個字符串‘asdfghj’的長度，但是不讓用len()的方法 s = ‘asdfghj‘ count = 0 for i in s: count += 1 p

Linux時間子系統(三) 用戶空間接口函數

因此 delet inter 擁有 基本 數據 關系 and sse 一、前言 從應用程序的角度看，內核需要提供的和時間相關的服務有三種： 1、和系統時間相關的服務。例如，在向數據庫寫入一條記錄的時候，需要記錄操作時間（何年何月何日何時）。 2、讓進程睡眠一段時間 3、和t

Hive中如何添加自定義UDF函數以及oozie中使用hive的自定義函數

步驟 strong 重啟 一個 文件夾 spa nlog hdfs share 直接來說操作步驟： 1. 修改.hiverc文件 在hive的conf文件夾下面，如果沒有.hiverc文件，手工自己創建一個。 參照如下格式添加： add jar /usr/loc

PLSQL在測試窗口傳入數組的寫法

Oracledeclare-- Non-scalar parameters require additional processing ty_type arr_string;begin-- Call the procedure ty_type :=arr_string(‘01‘,‘05‘,‘59‘);pro_