1. 程式人生 > >關於在hue當中調shell指令碼的操作(這裡的shell 指令碼是在shell腳本當中巢狀shell指令碼的操作使用source的方式)

關於在hue當中調shell指令碼的操作(這裡的shell 指令碼是在shell腳本當中巢狀shell指令碼的操作使用source的方式)

這兩天在做資料的匯入操作,為了方便資料的匯入我們採用sqoop的方式將資料匯入。但是在表很多的情況下,在hue當中部署工作流就是一件很麻煩的事情,

然後想著能不能通過shell指令碼調shell指令碼的方式實現在一個shell腳本當中就可以實現對多個匯入操作指令碼的呼叫。

操作指令碼如下:

#!/bin/bash
#sh ./import_com_organization.sh
source ./import_com_organization.sh
#. ./import_com_organization.sh  
echo "success"
exit 0  
這三種方式都可以實現對資料的匯入操作,我這裡是使用oozie的方式實現對指令碼的排程操作。下面這個是sqoop的匯入指令碼,這個可以自己按照自己的要求去編寫

 

這裡需要注意幾個問題,在這裡被呼叫的指令碼必須和住指令碼的路徑一直。要不然一直報找不到路徑,類似下面的這種找不到路徑。這裡我試了一下使用決絕路徑都是不可以的,一直報路徑或者檔案存在。這設計真是不合理
兩個檔案還必須在同一目錄下面。

 

 下面說一下這種指令碼在hue當中部署oozie的具體操作;

(1)將寫好的指令碼主指令碼和被呼叫的指令碼上傳到同一目錄下:

 

(2)然後部署工作流

 

 接下來在yarn上面我們能看到oozie啟動的laucher和action操作。

 

 

 等待執行完成之後。檢視結果即可。

參考文件: https://blog.csdn.net/adshiye/article/details/84311890