在hive的統計分析中，其實視窗函式還是比較常用也重要的。
今天整理下hive中視窗函式的sum，avg，min，max，後續再整理其他常用的。

首先模擬建立一張通話記錄表：欄位有主叫號碼，主叫時間，通話時長

> create table `call_test` (
    `pone_number` string,
    `createtime` string,   --day 
    `call_minute` int
    );
OK
Time taken: 0.369 seconds

查看下錶結構

> desc call_test;
OK
pone_number         	string              	                    
createtime          	string              	                    
call_minute         	int
 
                 	                    
Time taken: 0.149 seconds, Fetched: 3 row(s)

插入模擬資料

insert into call_test values('18600000000', '2018-12-10 13:00:00', 1);
insert into call_test values('18600000000', '2018-12-11 13:00:00', 6);
insert into call_test values('18600000000', '2018-12-12 13:00:00', 8);
insert into call_test values('18600000000'
 
, '2018-12-13 13:00:00', 4);
insert into call_test values('18600000000', '2018-12-14 13:00:00', 7);
insert into call_test values('18600000000', '2018-12-15 13:00:00', 1);
insert into call_test values('18600000000', '2018-12-16 13:00:00', 6);
insert into call_test values('18600000000', '2018-12-17 13:00:00', 8);
insert into call_test values('18600000000', '2018-12-18 13:00:00'
 
, 2);
insert into call_test values('18600000000', '2018-12-19 13:00:00', 4);
insert into call_test values('18600000000', '2018-12-20 13:00:00', 7);
insert into call_test values('18600000000', '2018-12-21 13:00:00', 1);
insert into call_test values('18600000000', '2018-12-22 13:00:00', 6);
insert into call_test values('18600000000', '2018-12-23 13:00:00', 8);
insert into call_test values('15600000000', '2018-12-10 13:00:00', 2);
insert into call_test values('15600000000', '2018-12-11 13:00:00', 4);
insert into call_test values('15600000000', '2018-12-12 13:00:00', 7);
insert into call_test values('15600000000', '2018-12-13 13:00:00', 1);
insert into call_test values('15600000000', '2018-12-14 13:00:00', 6);
insert into call_test values('15600000000', '2018-12-15 13:00:00', 8);
insert into call_test values('15600000000', '2018-12-16 13:00:00', 2);
insert into call_test values('15600000000', '2018-12-17 13:00:00', 4);
insert into call_test values('15600000000', '2018-12-18 13:00:00', 7);

SUM — 注意,結果和ORDER BY相關,預設為升序

> select pone_number,
createtime,
call_minute,
sum(call_minute) OVER(partition by pone_number order by createtime) as call_minute1, -- 預設為從起點到當前行
sum(call_minute) OVER(partition by pone_number order by createtime rows between unbounded preceding and current row) as call_minute2, --從起點到當前行，結果同call_minute1 
sum(call_minute) OVER(partition by pone_number) as call_minute3,--分組內所有行
sum(call_minute) OVER(partition by pone_number order by createtime rows between 3 preceding and current row) as call_minute4,   --當前行+往前3行
sum(call_minute) OVER(partition by pone_number order by createtime rows between 3 preceding and 1 following) as call_minute5,    --當前行+往前3行+往後1行
sum(call_minute) OVER(partition by pone_number order by createtime rows between current row and unbounded following) as call_minute6   ---當前行+往後所有行  
FROM call_test;
Query ID = hdfs_20181211000153_8870b5b2-ecaf-46aa-90f2-49a73e9e4ddf
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1541064601030_38864)

----------------------------------------------------------------------------------------------
        VERTICES      MODE        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  KILLED  
----------------------------------------------------------------------------------------------
Map 1 .......... container     SUCCEEDED      1          1        0        0       0       0  
Reducer 2 ...... container     SUCCEEDED      1          1        0        0       0       0  
Reducer 3 ...... container     SUCCEEDED      1          1        0        0       0       0  
----------------------------------------------------------------------------------------------
VERTICES: 03/03  [==========================>>] 100%  ELAPSED TIME: 0.66 s     
----------------------------------------------------------------------------------------------
OK
+--------------+----------------------+--------------+---------------+---------------+---------------+---------------+---------------+---------------+--+
| pone_number  |      createtime      | call_minute  | call_minute1  | call_minute2  | call_minute3  | call_minute4  | call_minute5  | call_minute6  |
+--------------+----------------------+--------------+---------------+---------------+---------------+---------------+---------------+---------------+--+
| 15600000000  | 2018-12-14 13:00:00  | 6            | 20            | 20            | 41            | 18            | 26            | 27            |
| 15600000000  | 2018-12-13 13:00:00  | 1            | 14            | 14            | 41            | 14            | 20            | 28            |
| 15600000000  | 2018-12-12 13:00:00  | 7            | 13            | 13            | 41            | 13            | 14            | 35            |
| 15600000000  | 2018-12-11 13:00:00  | 4            | 6             | 6             | 41            | 6             | 13            | 39            |
| 15600000000  | 2018-12-10 13:00:00  | 2            | 2             | 2             | 41            | 2             | 6             | 41            |
| 15600000000  | 2018-12-18 13:00:00  | 7            | 41            | 41            | 41            | 21            | 21            | 7             |
| 15600000000  | 2018-12-17 13:00:00  | 4            | 34            | 34            | 41            | 20            | 27            | 11            |
| 15600000000  | 2018-12-16 13:00:00  | 2            | 30            | 30            | 41            | 17            | 21            | 13            |
| 15600000000  | 2018-12-15 13:00:00  | 8            | 28            | 28            | 41            | 22            | 24            | 21            |
| 18600000000  | 2018-12-23 13:00:00  | 8            | 69            | 69            | 69            | 22            | 22            | 8             |
| 18600000000  | 2018-12-22 13:00:00  | 6            | 61            | 61            | 69            | 18            | 26            | 14            |
| 18600000000  | 2018-12-21 13:00:00  | 1            | 55            | 55            | 69            | 14            | 20            | 15            |
| 18600000000  | 2018-12-20 13:00:00  | 7            | 54            | 54            | 69            | 21            | 22            | 22            |
| 18600000000  | 2018-12-19 13:00:00  | 4            | 47            | 47            | 69            | 20            | 27            | 26            |
| 18600000000  | 2018-12-18 13:00:00  | 2            | 43            | 43            | 69            | 17            | 21            | 28            |
| 18600000000  | 2018-12-17 13:00:00  | 8            | 41            | 41            | 69            | 22            | 24            | 36            |
| 18600000000  | 2018-12-16 13:00:00  | 6            | 33            | 33            | 69            | 18            | 26            | 42            |
| 18600000000  | 2018-12-15 13:00:00  | 1            | 27            | 27            | 69            | 20            | 26            | 43            |
| 18600000000  | 2018-12-14 13:00:00  | 7            | 26            | 26            | 69            | 25            | 26            | 50            |
| 18600000000  | 2018-12-13 13:00:00  | 4            | 19            | 19            | 69            | 19            | 26            | 54            |
| 18600000000  | 2018-12-11 13:00:00  | 6            | 7             | 7             | 69            | 7             | 15            | 68            |
| 18600000000  | 2018-12-10 13:00:00  | 1            | 1             | 1             | 69            | 1             | 7             | 69            |
| 18600000000  | 2018-12-12 13:00:00  | 8            | 15            | 15            | 69            | 15            | 19            | 62            |
+--------------+----------------------+--------------+---------------+---------------+---------------+---------------+---------------+---------------+--+
Time taken: 1.14 seconds, Fetched: 23 row(s)

解釋：
call_minute1: 分組內從起點到當前行的call_minute累積，如，11號的call_minute1=10號的call_minute+11號的call_minute, 12號=10號+11號+12號
call_minute2: 同call_minute1
call_minute3: 分組內(call_minute1)所有的call_minute累加
call_minute4: 分組內當前行+往前3行，如，11號=10號+11號， 12號=10號+11號+12號， 13號=10號+11號+12號+13號， 14號=11號+12號+13號+14號
call_minute5: 分組內當前行+往前3行+往後1行，如，14號=11號+12號+13號+14號+15號
call_minute6: 分組內當前行+往後所有行，如，13號=13號+14號+15號+16號，14號=14號+15號+16號

如果不指定rows between,預設為從起點到當前行;
如果不指定order by，則將分組內所有值累加;
關鍵是理解rows between含義,也叫做window子句：
preceding：往前
following：往後
current row：當前行
unbounded：起點，unbounded preceding 表示從前面的起點， unbounded following：表示到後面的終點

其他avg，min，max，和sum用法一樣。

AVG

> select pone_number,
createtime,
call_minute,
round(avg(call_minute) OVER(partition by pone_number order by createtime), 2) as call_minute1, -- 預設為從起點到當前行
round(avg(call_minute) OVER(partition by pone_number order by createtime rows between unbounded preceding and current row), 2) as call_minute2, --從起點到當前行，結果同call_minute1 
round(avg(call_minute) OVER(partition by pone_number), 2) as call_minute3,--分組內所有行
round(avg(call_minute) OVER(partition by pone_number order by createtime rows between 3 preceding and current row), 2) as call_minute4,   --當前行+往前3行
round(avg(call_minute) OVER(partition by pone_number order by createtime rows between 3 preceding and 1 following), 2) as call_minute5,    --當前行+往前3行+往後1行
round(avg(call_minute) OVER(partition by pone_number order by createtime rows between current row and unbounded following), 2) as call_minute6   ---當前行+往後所有行  
FROM call_test; 
Query ID = hdfs_20181211000203_53ab6fb6-628c-4ac8-81aa-244c73b701f0
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1541064601030_38864)

----------------------------------------------------------------------------------------------
        VERTICES      MODE        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  KILLED  
----------------------------------------------------------------------------------------------
Map 1 .......... container     SUCCEEDED      1          1        0        0       0       0  
Reducer 2 ...... container     SUCCEEDED      1          1        0        0       0       0  
Reducer 3 ...... container     SUCCEEDED      1          1        0        0       0       0  
----------------------------------------------------------------------------------------------
VERTICES: 03/03  [==========================>>] 100%  ELAPSED TIME: 4.04 s     
----------------------------------------------------------------------------------------------
OK
+--------------+----------------------+--------------+---------------+---------------+---------------+---------------+---------------+---------------+--+
| pone_number  |      createtime      | call_minute  | call_minute1  | call_minute2  | call_minute3  | call_minute4  | call_minute5  | call_minute6  |
+--------------+----------------------+--------------+---------------+---------------+---------------+---------------+---------------+---------------+--+
| 15600000000  | 2018-12-14 13:00:00  | 6            | 4.0           | 4.0           | 4.56          | 4.5           | 5.2           | 5.4           |
| 15600000000  | 2018-12-13 13:00:00  | 1            | 3.5           | 3.5           | 4.56          | 3.5           | 4.0           | 4.67          |
| 15600000000  | 2018-12-12 13:00:00  | 7            | 4.33          | 4.33          | 4.56          | 4.33          | 3.5           | 5.0           |
| 15600000000  | 2018-12-11 13:00:00  | 4             
 

            
  
           

              
              
            
            
相關推薦
			   
            
            
            
 

    

    
    
hive視窗函式之sum，avg，min，max
     
  
  
  
 在hive的統計分析中，其實視窗函式還是比較常用也重要的。 今天整理下hive中視窗函式的sum，avg，min，max，後續再整理其他常用的。 
 首先模擬建立一張通話記錄表：欄位有主叫號碼，主叫時間，通話時長 
 > create table `call_test` (
    ` 

  
 

    

    
    
Hive視窗函式之累積值、平均值、首尾值的計算學習
     
 
                
Hive視窗函式可以計算一定範圍內、一定值域內、或者一段時間內的累積和以及移動平均值等；可以結合聚集函式SUM() 、AVG()等使用；可以結合FIRST_VALUE() 和LAST_VALUE()，返回視窗的第一個和最後一個值。- 如果只使用partition by子句, 

  
 

    

    
    
[C++] STL庫函式之字串string::npos的介紹，以及string中的find函式～
     
 
								
								            
						
                npos經常和find一起用～它們兩個都在標頭檔案<string>裡面～先看用法：

#include <iostream>
#include <string>
us 

  
 

    

    
    
hive視窗函式必備寶典
     
 
                Hive中提供了越來越多的分析函式，用於完成負責的統計分析。我們先在一一列舉，希望能夠加深印象，希望大家積極討論，如有不足，請大家多多指教。。。。

1.Row_Number,Rank，Dense_Rank   這三個視窗函式的使用場景非常多 

 row_number(): 

  
 

    

    
    
Hive視窗函式
     
 @[toc]
# 官方文件地址
[Hive官網，點我就進](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics)
oracle,sqlserver都提供了視窗函式，但是在mysql5.5和5 

  
 

    

    
    
hive視窗函式/分析函式詳細剖析
     
 # hive視窗函式/分析函式
在sql中有一類函式叫做聚合函式,例如sum()、avg()、max()等等,這類函式可以將多行資料按照規則聚集為一行,一般來講聚集後的行數是要少於聚集前的行數的。但是有時我們想要既顯示聚集前的資料,又要顯示聚集後的資料,這時我們便引入了視窗函式。視窗函式又叫OLAP函式/分析 

  
 

    

    
    
Hive分析窗體函數之SUM，AVG，MIN和MAX
     
 align   4.5   版本   bottom   pos   right   adding   track   mat   
Hive中提供了非常多的分析函數，用於完畢負責的統計分析。本文先介紹SUM、AVG、MIN、MAX這四個函數。環境信息：Hive版本號為apache-hive-0.14.0-b 

  
 

    

    
    
Hive函式分類、CLI命令、簡單函式、聚合函式、集合函式、特殊函式(分析函式、視窗函式、混合函式，UDTF)，常用函式Demo
     
  
 
 1.1 Hive函式分類 
  
 1.2  Hive  CLI命令 
 顯示當前會話有多少函式可用 
 show  functions; 
  
 顯示函式的描述資訊： 
 DESC  FUNCTION  concat; 
  
 顯示函式的擴充套 

  
 

    

    
    
Hive：自定義函式之UDF，UDAF和UDTF
     
 
                hive允許使用者使用自定義函式解決hive 自帶函式無法處理的邏輯。hive自定義函式只在當前執行緒內臨時有效，可以使用shell指令碼呼叫執行hive命令。

UDF
輸入一行資料輸出一行資料。 
解決問題描述 
想要比較兩個逗號分隔的字串是否相同。 
-使用方法 
如果 

  
 

    

    
    
聚合函式（sum，count，max，avg等）ZT
     
 
                聚合函式，例如SUM, COUNT, MAX, AVG等。這些函式和其它函式的根本區別就是它們一般作用在多條記錄上。 
SELECT SUM(population) FROM bbc
　　這裡的SUM作用在所有返回記錄的population欄位上，結果就是該查詢只返回一個結果 

  
 

    

    
    
leetcode677+Map sum使用map就行，加上一個starts_with函式
     
  
 
 
 https://leetcode.com/problems/map-sum-pairs/description/ 
 class MapSum {
public:
    map<string, int> pairs;
    /** Initialize your data str 

  
 

    

    
    
學習大資料技術，Hive實踐分享之儲存和壓縮的坑
     
  
 
 在學習大資料技術的過程中，HIVE是非常重要的技術之一，但我們在專案上經常會遇到一些儲存和壓縮的坑，本文通過科多大資料的武老師整理，分享給大家。 
 大家都知道，由於叢集資源有限，我們一般都會針對資料檔案的「儲存結構」和「壓縮形式」進行配置優化。在我實際檢視以後，發現叢集的檔案儲存格式為Parque 

  
 

    

    
    
Hive Shell 命令之二（表中資料的操作，出自Hive程式設計指南）
     
  
 
 
 
 一、 互動模式： 
 show tables; #檢視所有表名 
 show tables  'ad*'  #檢視以'ad'開頭的表名 set 命令 #設定變數與檢視變數； set -v #檢視所有的變數 set hive.stats.atomic #檢視hive.sta 

  
 

    

    
    
大資料之Spark（五）--- Spark的SQL模組，Spark的JDBC實現，SparkSQL整合MySQL，SparkSQL整合Hive和Beeline
     
  
 
 一、Spqrk的SQL模組
----------------------------------------------------------
    1.該模組能在Spack上執行Sql語句

    2.可以處理廣泛的資料來源

    3.DataFrame --- RDD --- tabl 

  
 

    

    
    
大資料之scala（四） --- 模式匹配，變數宣告模式，樣例類，偏函式，泛型，型變，逆變，隱式轉換，隱式引數
     
  
 
 一、模式匹配:當滿足case條件，就終止
----------------------------------------------------------
    1.更好的switch
        var x = '9';
        x match{
            case 

  
 

    

    
    
大資料之scala（三） --- 類的檢查、轉換、繼承，檔案，特質trait，操作符，apply，update，unapply，高階函式，柯里化，控制抽象，集合
     
  
 
 一、類的檢查和轉換
--------------------------------------------------------
    1.類的檢查 isInstanceOf -- 包括子類
        if( p.isInstanceOf[Employee])
        {
    

  
 

    

    
    
大資料之scala（一） --- 安裝scala，簡單語法介紹，條件表示式，輸入和輸出，迴圈，函式，過程，lazy ，異常，陣列
     
  
 
 一、安裝和執行Scala解釋程式
---------------------------------------------
    1.下載scala-2.11.7.msi

    2.管理員執行--安裝

    3.進入scala/bin,找到scala.bat,管理員執行，進入scala命 

  
 

    

    
    
請實現一個函式按照之字形列印二叉樹，即第一行按照從左到右的順序列印，第二層按照從右至左的順序列印，第三行按照從左到右的順序列印，其他行以此類推。
     
  
 
  boolean flag1 = true ;                   //利用標誌位來控制順序，為true，則從左到右的順序，為false則相反       

  
 

    

    
    
sql  sum[count,avg,min,max等等] over(PARTITION BY 列名稱1，列名稱2。。。) 和sum。。。goup by 。。。的差別
     
 
                USE db_sql2005
GO
SELECT 訂單編號,商品編號,訂貨數量
    ,SUM(訂貨數量) OVER(PARTITION BY 訂單編號) AS '總計'
    ,COUNT(訂貨數量) OVER(PARTITION BY 訂單編號) AS '計數'
   

  
 

    

    
    
大資料之hbase（四） --- rowkey設計原則模擬通話日誌，BloomFilter，phonix環境部署，hive-hbase整合
     
 
                一、rowkey設計 -- 模擬通話日誌
--------------------------------------------------
    1.建表
        $hbase> create 'ns1:calllogs' , 'f1'

    2.編寫