1. 程式人生 > >Azkaban(2.50)單節點安裝

Azkaban(2.50)單節點安裝

準備工作
Azkaban Web伺服器
azkaban-web-server-2.5.0.tar.gz
Azkaban執行伺服器
azkaban-executor-server-2.5.0.tar.gz
下載地址:http://azkaban.github.io/downloads.html

MySQL
目前azkaban只支援 mysql,需安裝mysql伺服器,本文件中預設已安裝好mysql伺服器,並建立了 root使用者,密碼 root.

環境
將安裝檔案上傳到叢集,最好上傳到安裝 hive、sqoop的機器上,方便命令的執行
在當前使用者目錄下新建 azkabantools目錄,用於存放源安裝檔案.新建azkaban目錄,用於存放azkaban執行程式

登陸mysql:以root使用者登陸

 mysql -u root -p

在這裡插入圖片描述

1)為Azkaban單獨建立一個數據庫:

     create database azkaban

在這裡插入圖片描述

2)單獨建立一個數據庫使用者,實際生產中最好單獨建立一個使用者,這裡我使用azkaban/密碼,並對使用者授權

建立:create user ‘azkaban’@‘主機名’ identified by ‘密碼’;(使用者azkaban、主機名、對資料庫azkaban)

         授權:grant select,insert,update,delete,create,index on `azkaban`.* to 'azkaban'@'主機名' with grant option;

注意符號 azkaban 不是單引號
在這裡插入圖片描述

在這裡插入圖片描述

接下來通過剛建立的使用者登陸mysql

在這裡插入圖片描述

報錯,再執行下面的 (對不同ip賦權)

mysql> grant all privileges on *.* to 'azkaban'@'%' identified by 'azkaban' with grant option;
 Query OK, 0 rows affected (0.00 sec)
 mysql> grant all privileges on *.* to 'azkaban'@'master' identified by 'azkaban' with grant option;
 Query OK, 0 rows affected (0.00 sec)
 mysql> grant all privileges on *.* to 'azkaban'@'localhost' identified by 'azkaban' with grant option;
 Query OK, 0 rows affected (0.00 sec)

在這裡插入圖片描述

在這裡插入圖片描述

此時就可以通過azkaban賬號登陸了、

在這裡插入圖片描述

下載azkaban-sql-script-2.5.0.tar.gz 解壓縮

      執行create-all-sql-2.5.0.sql

在這裡插入圖片描述

退出,做重定向

      mysql -uazkaban -pazkaban -Dazkaban</home/hadoop/app/azkaban-2.5.0/create-all-sql-2.5.0.sql(全路徑)

再次登入 檢視新建表的情況表以新建(完成)
2.5.0版本是自帶的不需要配置jdbc 驅動(其他版本需要將 mysql連線驅動 放置 extlib 下)
二、配置Azkaban Web Server

1)安裝web server

   下載  解壓縮

在其 主目錄下 生成生成KeyStore檔案
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
在這裡插入圖片描述

密碼儘量一致(包括大小寫)

 修改配置檔案:conf/azkaban.properties
 注 如發現 某個配置找不到 請改成全路徑(強烈建議都改成全路徑)

 修改

#Azkaban Personalization Settings
azkaban.name=Test #伺服器UI名稱,用於伺服器上方顯示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI顏色
azkaban.default.servlet.path=/index #
web.resource.dir=web/ #預設根web目錄
default.timezone.id=Asia/Shanghai #預設時區,已改為亞洲/上海 預設為美國

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #使用者許可權管理預設類
user.manager.xml.file=conf/azkaban-users.xml #使用者配置,具體配置參加下文

#Loader for projects
executor.global.properties=conf/global.properties # global配置檔案所在位置
azkaban.project.dir=projects #

database.type=mysql #資料庫型別
mysql.port=3306 #埠號
mysql.host=localhost #資料庫連線IP
mysql.database=azkaban #資料庫例項名
mysql.user=root #資料庫使用者名稱
mysql.password=root #資料庫密碼
mysql.numconnections=100 #最大連線數
velocity.dev.mode=false

Azkaban Jetty server properties.

jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=/software/servers/azkaban-web-2.5.0/keystore
jetty.password=123qwe
jetty.keypassword=123qwe
jetty.truststore=/software/servers/azkaban-web-2.5.0/keystore
jetty.trustpassword=123qwe

執行伺服器屬性

executor.port=12321 #執行伺服器埠

郵件設定(根據公司郵件設定)

[email protected] #傳送郵箱
mail.host=smtp.163.com #傳送郵箱smtp地址
mail.user=xxxxxxxx #傳送郵件時顯示的名稱
mail.password=********** #郵箱密碼
[email protected] #任務失敗時傳送郵件的地址
[email protected] #任務成功時傳送郵件的地址
lockdown.create.projects=false #
cache.directory=cache #快取目錄

啟動web server

  bin/azkaban-web-start.sh 

  bin/azkaban-web-shutdown.sh 

    https://192.168.80.11:8443/

回車

https://ip:8443/   web頁面展示

在這裡插入圖片描述
配置安裝完成!!!

三、配置安裝Azkaban Executor Server

  1)安裝Azkaban Executor Server    

       下載azkaban-executor-server-2.5.0.tar.gz  上傳、解壓縮即可。

在這裡插入圖片描述
2)配置資料庫(setting up to DB)

     修改conf/azkaban.properties
     注 如發現 某個配置找不到 請改成全路徑(強烈建議都改成全路徑)

#Azkaban
default.timezone.id=Asia/Shanghai #時區

Azkaban JobTypes 外掛配置

azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 外掛所在位置

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

#資料庫設定
database.type=mysql #資料庫型別(目前只支援mysql)
mysql.port=3306 #資料庫埠號
mysql.host=192.168.20.200 #資料庫IP地址
mysql.database=azkaban #資料庫例項名
mysql.user=root #資料庫使用者名稱
mysql.password=root #資料庫密碼
mysql.numconnections=100 #最大連線數

執行伺服器配置

executor.maxThreads=50 #最大執行緒數
executor.port=12321 #埠號(如修改,請與web服務中一致)
executor.flow.threads=30 #執行緒數

使用者配置 (可保持預設不修改)
進入azkaban web伺服器conf目錄,修改azkaban-users.xml
vi azkaban-users.xml 增加 管理員使用者



//已經改示例


執行伺服器
在執行伺服器目錄下執行啟動命令
bin/azkaban-executor-start.sh
注:只能要執行伺服器根目錄執行

啟動完成後,在瀏覽器(建議使用谷歌瀏覽器)中輸入https://伺服器IP地址:8443 ,即可訪問azkaban服務了.在登入中輸入剛才新的戶用名及密碼,點選 login.

參考:https://www.cnblogs.com/lyywj170403/p/8893846.html
https://blog.csdn.net/dabokele/article/details/52235657