背景

大資料平臺技術框架支援的開發語言多種多樣，開發人員的背景差異也很大，這就產生出很多不同型別的程式（任務）執行在大資料平臺之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python等。

這些任務需要不同的執行環境，並且除了定時執行，各種型別之間的任務存在依賴關係，一張簡單的任務依賴圖如下：

任務排程依賴圖

目前各業務的資料任務基本都是靠Crontab定時排程，各個任務之間的依賴僅靠簡單的序列來實現。

這樣做的問題：

• 很容易造成前面的任務未結束或者失敗，後面的任務也執行起來，最終跑出錯誤的分析結果；
• 任務不能併發執行，增加任務執行的整體時間視窗；
• 任務管理和維護很不方便，不好統計任務的執行時間及執行日誌；
• 缺乏及時有效的告警；

SkyNet排程監控系統，正是為了解決以上問題。

系統架構

大資料任務排程

名詞解釋

系統模組

• JobManager：SkyNet的Master，提供RPC服務，接收並處理JobClient/Web提交的所有操作；與元資料通訊，維護Job元資料；負責任務的統一配置維護、觸發、排程、監控
• JobMonitor: 監控正在執行的Job狀態、監控任務池、監控等待執行的Job；
• JobWorker：SkyNet的Slave，從任務池中獲取Job、負責啟動並收集Job的執行狀態，維護至元資料庫；
• JobClient/Web：SkyNet客戶端類，前端介面提供給使用者，用作任務的配置、管理、監控等；
• 任務元資料：目前使用Mysql，儲存Job的配置、依賴關係、執行歷史、資源配置、告警配置等；

系統特性

• 分散式架構：容量和負載能力(JobWorker)可線性擴充，並可以跨外網部署（只需能訪問元資料庫即可）；
• 高可用性：擁有主備Master，一旦主Master異常，備Master會接替主Master提供服務(後期實現)；
• 高容錯性：Master重新啟動後，會將之前未完成的任務重新排程執行；
• 完善易用的Web使用者介面：用於使用者配置、提交、查詢、監控任務及任務的依賴關係；
• 支援任意型別的任務：除了Hadoop生態圈的MapReduce、Hive、Pig等，還支援其他任何語言開發的任務，如Java、Shell、Python、Perl、Spark等；
• 完整的日誌記錄：收集並記錄任務執行過程中產生的標準輸出和標準錯誤，提供Http訪問，使用者可通過訪問任務對應的日誌Url來方便的訪問任務執行日誌；
• 任務之間的靈活依賴：可將任意一個任務作為自己的父任務進行依賴觸發；
• 靈活多樣的告警規則：除了失敗告警，也支援任務超時未完成、任務超時未開始等告警規則；

頁面展示

DashBoard：顯示平臺任務總體概況，資源總體概況

大資料任務排程

任務查詢和維護：

大資料任務排程

新增任務：

大資料任務排程

檢視任務依賴關係及執行狀態：

大資料任務排程

檢視任務執行狀態及執行日誌：

大資料任務排程