1. 程式人生 > >赫拉(hera)分散式任務排程系統之開發中心(三)

赫拉(hera)分散式任務排程系統之開發中心(三)

簡介

開發中心,顧名思義。我們進行開發的地方(當然我們也可以直接在排程中心加任務,建議任務首先在開發中心測試,通過之後再加到排程中心)。

目錄介紹

在這裡插入圖片描述
如圖所示,開發中心有兩個資料夾。分別是個人文件共享文件。這兩個資料夾不允許刪除。

  • 個人文件
    提供給賬戶登入者使用的,私人目錄可以在這裡建立,執行任務時的使用者,以建立者為準
  • 共享文件
    資料夾內的指令碼對所有使用者可見,執行時任務的使用者以實際的登入者為準

建立一個指令碼

滑鼠放在個人中心,然後點選滑鼠右鍵選擇新建shell指令碼。
在這裡插入圖片描述

然後在編輯區寫入要執行的指令碼內容點選執行

即可

在這裡插入圖片描述

此時在編輯區下方會有當前執行任務日誌資訊輸出

在這裡插入圖片描述

當然也可以通過點選下方歷史日誌看所有日誌資訊。
在這裡插入圖片描述

執行選中的程式碼

我們可以通過在編輯區使用滑鼠選中我們要執行的程式碼,然後點選執行選中程式碼即可
在這裡插入圖片描述

上傳資源

當需要上傳資源(py, jar, sql, hive, sh, js, txt, png, jpg, gif等等)時要注意,要保證我們的masterworkhadoop環境,能夠執行hadoop fs -copyFromLocal命令。
上傳完資源後。
在這裡插入圖片描述

最上方會返回該資原始檔的使用地址。

/hera/hdfs-upload-dir/hera-20181229-110455.sql

如果我們是使用spark-submit 或者hive udfadd jar 命令,直接加上hadoop路徑即可。

比如:

    add jar hdfs:///hera/hive_custom_udf/2dfire-hivemr-log.jar;

或者:

spark2-submit --class com.dfire.start.App \
--jars hdfs:///spark-jars/common/binlog-hbase-1.1.jar \

當然如果是一些python指令碼,或者txt。我們需要下載下來執行的。就需要執行

download[hdfs:///hera/hdfs-upload-dir/hera-20181229-110455.sql hera.sql]

啟動downloadhera的定製命令。[]分為兩部分,使用空格分開。空格左部分為hdfs檔案的路徑,空格右部分為重新命名後的檔名
在這裡插入圖片描述

同步任務

暫未開發

指令碼自動儲存

當在開發中心寫指令碼時,指令碼會自動儲存。當然也可以通過點選儲存指令碼進行手動儲存。