赫拉(hera)分散式任務排程系統之開發中心(三)
阿新 • • 發佈:2018-12-29
簡介
開發中心,顧名思義。我們進行開發的地方(當然我們也可以直接在排程中心加任務,建議任務首先在開發中心測試,通過之後再加到排程中心)。
目錄介紹
如圖所示,開發中心有兩個資料夾。分別是個人文件
、共享文件
。這兩個資料夾不允許刪除。
- 個人文件
提供給賬戶登入者使用的,私人目錄可以在這裡建立,執行任務時的使用者,以建立者為準 - 共享文件
資料夾內的指令碼對所有使用者可見,執行時任務的使用者以實際的登入者為準
建立一個指令碼
滑鼠放在個人中心,然後點選滑鼠右鍵選擇新建shell指令碼。
然後在編輯區
寫入要執行的指令碼內容點選執行
此時在編輯區
下方會有當前執行任務
的日誌資訊
輸出
當然也可以通過點選下方歷史日誌
看所有日誌資訊。
執行選中的程式碼
我們可以通過在編輯區
使用滑鼠選中
我們要執行的程式碼
,然後點選執行選中程式碼
即可
上傳資源
當需要上傳資源(py, jar, sql, hive, sh, js, txt, png, jpg, gif
等等)時要注意,要保證我們的master
和work
有hadoop
環境,能夠執行hadoop fs -copyFromLocal
命令。
上傳完資源後。
最上方會返回該資原始檔的使用地址。
/hera/hdfs-upload-dir/hera-20181229-110455.sql
如果我們是使用spark-submit
或者hive udf
的 add jar
命令,直接加上hadoop
路徑即可。
比如:
add jar hdfs:///hera/hive_custom_udf/2dfire-hivemr-log.jar;
或者:
spark2-submit --class com.dfire.start.App \
--jars hdfs:///spark-jars/common/binlog-hbase-1.1.jar \
當然如果是一些python指令碼,或者txt。我們需要下載下來執行的。就需要執行
download[hdfs:///hera/hdfs-upload-dir/hera-20181229-110455.sql hera.sql]
啟動download
為hera
的定製命令。[]
分為兩部分,使用空格
分開。空格左部分為hdfs檔案的路徑
,空格右部分為重新命名後的檔名
。
同步任務
暫未開發
指令碼自動儲存
當在開發中心寫指令碼時,指令碼會自動儲存。當然也可以通過點選儲存指令碼進行手動儲存。