1. 程式人生 > >flink流計算隨筆(5)

flink流計算隨筆(5)

Windows 聚合事件(例如計數、和)在流上的工作方式與批處理不同。例如,不可能計算流中的所有元素,因為流通常是無限的(無界的)。相反,流上的聚合(計數、和等)是由視窗限定作用域的,例如“過去5分鐘的計數”或“最後100個元素的總和”。

Windows可以是時間驅動(示例:每30秒)或資料驅動(示例:每100個元素)。一個典型的方法是區分不同型別的視窗,比如翻筋斗視窗(沒有重疊)、滑動視窗(有重疊)和會話視窗(中間有一個不活躍的間隙)。 在這裡插入圖片描述

Time 當提到流媒體程式中的時間(例如定義視窗)時,可以指不同的時間概念:

事件時間是建立事件的時間。它通常由事件中的時間戳描述,例如由生產感測器或生產服務附加的時間戳。Flink通過時間戳轉讓者訪問事件時間戳。

攝入時間是事件進入源操作符的Flink資料流的時間。

處理時間是執行基於時間的操作的每個操作符的本地時間。 在這裡插入圖片描述