1.Azkaban實戰

Azkaba內建的任務型別支援command、java

Command型別單一job示例

1、建立job描述檔案

vi command.job
#command.job
type=command                                                    
command=echo 'hello'

2、將job資原始檔打包成zip檔案
zip command.job

3、通過azkaban的web管理平臺建立project並上傳job壓縮包
首先建立project

上傳zip包，例如：

zip包中的內容如下：

1.2.通過任務執行shell指令碼

編寫command.job檔案
內容如下：

#command.job
type=command
command=sh hello.sh

上面的command=sh hello.sh表示的意思是執行hello.sh指令碼，其中hello.sh的指令碼如下：

#!/bin/bash
echo 'hello' > /home/tuzq/software/azkabandata/hello.txt
 

按照上面的案例，上傳上去，並且執行。

上傳任務的指令碼


執行工作流：


進入/home/tuzq/software/azkabandata檢視是否有檔案：

[root@hadoop1 azkabandata]# cd /home/tuzq/software/azkabandata
[root@hadoop1 azkabandata]# ls
hello.txt
[root@hadoop1 azkabandata]# cat hello.txt 
hello
[root@hadoop1 azkabandata]#

1.3.Command型別多job工作流flow

1、建立有依賴關係的多個job描述
第一個job：foo.job

# foo.job
type=command
command=echo foo

第二個job：bar.job依賴foo.job

# bar.job
type=command
#表示這個命令依賴foo這個任務
dependencies=foo
command=echo bar

2、將所有job資原始檔打到一個zip包中

3、在azkaban的web管理介面建立工程並上傳zip包

4、啟動工作流flow

1.4.HDFS操作任務

1、建立job描述檔案

# fs.job
type=command
command=/home/tuzq/software/hadoop-2.8.0/bin/hdfs dfs -mkdir /azaz

2、將job資原始檔打包成zip檔案

3、通過azkaban的web管理平臺建立project並上傳job壓縮包
4、啟動執行該job

通過上滿的結果可以證明，可以通過job來自行hdfs的命令

1.5.MAPREDUCE任務

Mr任務依然可以使用command的job型別來執行
1、建立job描述檔案，及mr程式jar包（示例中直接使用hadoop自帶的example jar）

# mrwc.job
type=command
command=/home/tuzq/software/hadoop-2.8.0/bin/hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount hdfs://hadoop1/wordcount/input hdfs://hadoop1/wordcount/azout

2、將所有job資原始檔打到一個zip包中

其中hadoop-mapreduce-examples-2.8.0.jar 在$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar

3、在azkaban的web管理介面建立工程並上傳zip包

上傳之後的準備工作是：
將wordcount/input上傳到hdfs,命令如下：

[[email protected] software]# hdfs dfs -put wordcount /
[[email protected] software]# hdfs dfs -ls /
Found 8 items
drwxr-xr-x   - root supergroup          0 2017-06-13 12:01 /40000
drwxr-xr-x   - root supergroup          0 2017-06-14 18:31 /azaz
drwxr-xr-x   - root supergroup          0 2017-06-13 23:43 /flume
drwxr-xr-x   - root supergroup          0 2017-06-14 18:46 /input
-rw-r--r--   3 root supergroup       3719 2017-06-10 12:11 /kms.sh
drwxrwxrwx   - root supergroup          0 2017-06-14 18:43 /tmp
drwxr-xr-x   - root supergroup          0 2017-06-10 22:27 /user
drwxr-xr-x   - root supergroup          0 2017-06-14 18:47 /wordcount

[[email protected] software]# hdfs dfs -ls hdfs:/wordcount/input
Found 9 items
-rw-r--r--   3 root supergroup        604 2017-06-14 18:47 hdfs:///wordcount/input/1.txt
-rw-r--r--   3 root supergroup        604 2017-06-14 18:47 hdfs:///wordcount/input/2.txt
-rw-r--r--   3 root supergroup        604 2017-06-14 18:47 hdfs:///wordcount/input/3.txt
-rw-r--r--   3 root supergroup        604 2017-06-14 18:47 hdfs:///wordcount/input/4.txt
-rw-r--r--   3 root supergroup        604 2017-06-14 18:47 hdfs:///wordcount/input/5.txt
-rw-r--r--   3 root supergroup   27209520 2017-06-14 18:47 hdfs:///wordcount/input/a.txt
-rw-r--r--   3 root supergroup   27209520 2017-06-14 18:47 hdfs:///wordcount/input/aaa.txt
-rw-r--r--   3 root supergroup   27787264 2017-06-14 18:47 hdfs:///wordcount/input/b.txt
-rw-r--r--   3 root supergroup   26738688 2017-06-14 18:47 hdfs:///wordcount/input/c.txt

其中1.txt中內容類似：

4、啟動job
現象：


執行完成之後的狀態是：



檢視hdfs上的內容：

開始的時候發現在/wordcount下只有input這個資料夾，當執行完成之後，發現有了azout這個資料夾。

綜上所述，說明通過azkaban在hdfs上生成了檔案

1.5.HIVE指令碼任務

建立job描述檔案和hive指令碼
Hive指令碼： test.sql

use default;
drop table aztest;
create table aztest(id int,name string) row format delimited fields terminated by ',';
load data inpath '/aztest/hiveinput' into table aztest;
create table azres as select * from aztest;
insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest; 

Job描述檔案：hivef.job

#hivef.job
type=command
command=/home/tuzq/software/hive/apache-hive-1.2.1-bin/bin/hive -f 'test.sql'

2、將所有job資原始檔打到一個zip包中

3、在azkaban的web管理介面建立工程並上傳zip包
4、啟動job
準備工作（在hdfs上建立一個hive執行sql後依賴的資料夾）：
[[email protected] apache-hive-1.2.1-bin]# hdfs dfs -mkdir -p /aztest/hiveoutput
執行完成之後效果如下：


特別注意的是：如果執行錯了，可以檢視任務的日誌輸出：