1. 程式人生 > >Flink 流式計算框架(學習一)

Flink 流式計算框架(學習一)

       

開源流計算引擎,兼顧效能和可靠性。

 

Flink資料集型別

        有邊資料集:最終不再發生改變

        無邊資料集:不斷產生資料

 

Flink的兩種執行模型

    a.流計算

        資料不斷產生,一直處於計算狀態

    b.批處理

       完成一定時間段的計算任務後,釋放資源       

 

Flink的特性

    a.開源,分散式

    b.結果精準,即使是無序資料或者延遲資料

    c.有狀態以及容錯。維護精準一次的應用狀態(保持每次計算的結果,向後傳遞,實現累加。容錯:replace,計算錯誤後恢復)

    d.可實現大規模計算,高吞吐、低延遲

    f.通過檢查點機制實現精準一次的計算保證,在出現故障的時候可以體現

    e.flink支援計算以及視窗化操作

    g.flink支援靈活的基礎時間的視窗計算

    h.flink容錯是輕量級的,資源佔用量少,保證零資料丟失

 

Flink流計算模型和有界資料集

    a.有界資料集是無界資料集的一種特例

    b.有界資料集在flink內部是以一種終態資料集進行計算

    c.在flink中,有界和無界差距較小

    d.使用同一套流計算執行引擎模型上的API操作兩種資料型別

 

Flink啟動

    flink run -c ${classname} name.jar

預設埠

    8081