1. 程式人生 > >實時計算輕鬆上手,阿里雲DataWorks Stream Studio正式釋出

實時計算輕鬆上手,阿里雲DataWorks Stream Studio正式釋出

Stream Studio是DataWorks旗下重磅推出的全新子產品。已於2019年4月18日正式對外開放使用。Stream Studi是一站式流計算開發平臺,基於阿里巴巴實時計算引擎Flink構建,集視覺化拖拽DAG和SQL兩種開發模式,支援DAG與SQL互相轉換,通過視覺化拖拽就可以輕鬆實現流計算作業開發,適用於實時ETL、實時報表、實時大屏、監控預警以及各類實時線上系統等應用場景。

Stream Studio的推出意味著DataWorks正式對外提供實時計算能力,進入到流、批全覆蓋的大資料全功能領域

在現有的實時資料開發領域中,使用者普遍面臨下面幾大問題:

流任務開發複雜

  • 無論是SQL還是Java、python,開發任務必須寫程式碼,而且程式碼形式不利於後期業務邏輯分析和維護
  • 開發過程中無法除錯,只能等全部任務完成,才能上線除錯,有問題修改後在上線,反覆驗證
  • UDF開發需要單獨打包編譯上傳,跟任務本身屬於分割開發狀態,容易造成流程繁瑣,版本混淆

運維難度大、門檻高

  • 運維門檻非常高,分析問題需要在很多運維指標裡抽絲剝繭,如果不是對實時計算引擎瞭解精深,對執行原理非常熟悉,很難做到有效運維、排查問題。
  • 單點任務開發功能
  • 很多工具只是負責流任務開發和運維,而使用者真正要使用的一套數倉服務,還需要使用者自己去對接流任務的前後端輸入產出

Stream Studio針對現在已有的這些問題,進行了高效的優化:

  • 零程式碼開發實時任務:
    全面面向業務維度,提供SQL和DAG兩種開發模式,並且支援SQL和DAG互轉,在業界尚屬首次,非專業人士也能輕鬆上手。
  • 零學習成本:DAG模式下針對每一種運算元進行錯誤檢查以及資料推演,準確輔助使用者“手把手”使用DAG進行開發。
  • 所見即所得:為流計算使用者提供邊開發邊除錯的功能,解決使用者在SQL開發過程中無法除錯的痛點
  • 一站式開發:深度打通DataWorks Function Studio,無需依賴任何第三方開發工具,使用者可以線上編寫UDF,同時支援一鍵釋出到Stream Studio。
  • 豐富的資源庫:為使用者提供效能卓越的通用UDF,擴充Flink開發邊界,避免重複造輪子
  • 低運維成本:將專業的Flink任務運維診斷小白化,支援任務智慧故障診斷,提供一鍵執行任務問題排查的能力,可對任務延遲、任務失敗、任務無資料產出等異常場景進行智慧分析,並將結果直觀的反饋給使用者,提示使用者修復方案,為流計算使用者提供一站式的智慧診斷服務體驗


原文連結
本文為雲棲社群原創內容,未經