新一代大數據引擎操作系統：DataWorks V2.0重磅來襲
認識DataWorks：新一代大數據引擎操作系統
眾所周知，MaxComput與Blink分別是阿裏巴巴自主研發的離線計算、實時計算大數據計算引擎，不僅擁有多項國家專利技術，而且多項關鍵指標已遠超業內開源引擎平均能力，名副其實地成為了阿裏巴巴大數據之路上的領航者。
如果把阿裏巴巴大數據計算引擎比作一臺PC的CPU，GPU，SSD等硬件設備，那麽DataWork就是這臺大數據PC的Window操作系統。專業地講，DataWorks是一個提供了大數據OS能力、並以all in one box的方式提供專業高效、安全可靠的一站式大數據智能雲研發平臺。她不僅能令用戶通過全可視化的方式調度MaxCompute和Blink開展研發工作，還對租戶，賬戶，計量，計費，調度，運維，監控，安全、質控、分享等功能作了封裝，讓用戶幾乎通過零研發成本即可完成所有大數據研發流程的閉環體驗。
DataWorks基於MaxCompute、Blink作為核心計算存儲引擎，統一集成了任務調度、元數據管理、權限管理、智能運維於DataOS Kernel，不僅為用戶提供了結構化、半結構化、無結構化海量數據的集成傳輸、離線加工、數據挖掘、數據（安全）治理的能力，而且完美結合了阿裏雲機器學習PAI平臺與雲市場，讓眾多智能數據應用得以普惠大眾企業。
DataWorks V2.0功能亮點
（1）更科學的研發理念
提供標準項目模式，也稱之為“雙項目模式”，即：一個Dataworks項目對應兩個MaxCompute項目，其中一個MaxCompute項目作為開發環境，另一個MaxCompute作為生產環境。
（2）更爽快的SQL代碼編輯器
DataWorks新一代智能SQL編輯器提供了十分爽朗的SQL體驗，用戶不僅能在編寫代碼的過程中體驗代碼格式化、代碼補齊、關鍵詞高亮、錯誤提示、表結構浮動顯示的開發體驗，而且能通過“結構”功能直觀查看並點擊定位SQL內部結構，提升研發人員分析SQL語句的效率。
（gif動圖：SQL格式化+補齊+高亮+錯誤提示+表結構浮動顯示）
（jpg：SQL內部結構展示）
（3）更人性化的開發體驗
數據研發模塊舊貌煥新顏，發布諸多創新功能提升數據研發工作體驗。
◆業務流程：引入業務流程概念取代工作流概念，讓用戶從業務視角科學管理開發任務。
◆解決方案：有機組織同類型業務流程，賦予用戶從更高視角橫向管理開發任務的能力，全新定義開發流程。
◆依賴升級：實現獨立配置同一業務流程內依賴任務的獨立周期配置，解決更多復雜依賴場景。
◆SQL組件：提供自定義SQL代碼過程模板的功能，讓用戶無需進行重復開發即可高效復用相似SQL代碼，有效減少用戶重復研發成本。
◆回收站：提供刪除後還原功能為用戶解決誤刪任務後無法恢復的後顧之憂。
◆SQL電子表格：頁面執行SQL產出結果接入電子表格功能，方便用戶對數據結果進行篩選、排序等操作，並提供搜索和下載結果等功能。
◆運行歷史：保留近三天內頁面執行SQL結果，便於研發人員在無需重復執行代碼的情況下，反復對比SQL測試結果。
◆代碼全局搜索：實現了通過關鍵字形式對代碼進行全局搜索的功能，讓用戶快速定位到所需操作的節點任務。
◆表分層管理：用戶可對項目下所有表進行文件夾命名歸類，同時可通過圖形化界面進行表物理模型設計與結構設計，實現了更科學的表管理方式。
（4） 更智能的業務監控
通過人工定義某層曾節點的產出時間即可打通後端監控系統對上遊所有節點任務的全鏈路智能監控，從而實現“是否報警”、“何時報警”、“如何報警“以及“給誰報警”的功能，徹底為用戶降低監控配置成本並杜絕無效報警。
（5） 更完備的數據研發閉環體驗
◆數據質量（DQC）：支持MaxCompute數據表與DataHub實時數據流的質量校驗、通知、管理功能，實現當數據發生變化時對數據進行校驗， 並在滿足質控規則條件時將報警推送給相關責任人，進而推動研發人員達成不斷改進數據質量的正向循環。
◆數據保護傘：提供數據資產識別、敏感數據發現、數據分級分類、脫敏、訪問監控、風險發現預警與審計能力，讓用戶無需顯著投入即可落實科學數據安全管理規範。
◆數據服務：通過Serverless助力用戶幾乎通過零成本即可快速將數據表構建為數據API，並提供成熟的API鑒權、發布、管理、生命周期管理功能，讓用戶不費吹灰之力即可快速將API集成至自有APP或發布至雲市場進行數據能力售賣，搭建企業統一數據服務總線
（6） 完美結合人工智能
DataWorks完美集成了阿裏雲機器學習（PAI）平臺，為用戶提供數據處理、建模、離線預測、在線預測為一體的機器學習處理能力。同時封裝了阿裏巴巴集團內成熟的算法，向機器學習用戶提供了更簡易的操作體驗，真正做到讓人工智能×××。
DataWorks獲獎經歷
2017年，DataWorks獲得國際軟博會金獎；2018年，DataWorks + MaxCompute獲得著名分析評測機構Forrester的Cloud Data Warehouse雲數據倉庫世界排名第二的成績，是唯一入選的中國產品。
DataWorks始終致力於Make Data Work，歡迎廣大開發者一起在DataWorks V2.0上暢遊大數據的世界！
了解更多大數據家族產品詳情，歡迎點擊：
https://et.aliyun.com/bigdatarelease
點擊觀看大數據家族產品發布會：
https://yq.aliyun.com/webinar/play/508
【阿裏雲新品發布】開啟新一代數據智能開發之路：
https://yq.aliyun.com/roundtable/325525
原文鏈接
本文為雲棲社區原創內容，未經允許不得轉載。
新一代大數據引擎操作系統：DataWorks V2.0重磅來襲