1. 程式人生 > >linux下部署和執行kettle——(配置檔案、動態獲取、後臺執行)

linux下部署和執行kettle——(配置檔案、動態獲取、後臺執行)

一.部署準備

1.1 java安裝(略)

1.2 JDK配置

        1.命令列鍵入“cd /etc進入etc目錄

2.命令列鍵入“vi profile開啟profile檔案

3.敲擊鍵盤ctrl+F到檔案末尾

4.在末尾處,即第一個~的地方,敲擊鍵盤將以下內容輸入到檔案

export JAVA_HOME=/usr/java/jre1.6.0_45

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

     5.鍵盤敲擊exc,命令列鍵入“

:wq”,儲存檔案;

   JDK配置成功:

      1. 命令:java -version.出現版本資訊

      2. 命令:echo ${JAVA_HOME}出現配置路徑

               

二.kettle部署

1.在linux下某個目錄下建立一個資料夾,將你從官網上下載的kettle(我的是pdi-ce-5.1.0.0-752.zip)解壓後放在該資料夾

 下。

2.在解壓的路徑下找到kitchen.sh所在的路徑,進入該目錄,通過chmod +x *.sh賦予.sh檔案執行許可權。

3.輸入命令./kitchen.sh。如果出現幫助資訊說明部署成功。

三.shell指令碼執行kettle job或轉換


以執行一個轉換為例:

1.我的kettle部署位置:

/home/kettle


kitchen.sh(用來執行job)和pan.sh(用來執行轉換)等都在data-integration下面。

2.transtion下有一個實現檔案轉移的job和兩個資料夾:原始檔夾和目標資料夾。執行job的shell指令碼也放在此資料夾下:


startup.sh的內容:

/home/kettle/data-integration/kitchen.sh -file=/home/kettle/transition/move.kjb log=log.log。

3.進入startup.sh在的路徑:

cd /home/kettle/transition

4.輸入命令:./startup.sh即可執行move.kjb.

四.kettle環境變數配置及配置檔案

 很多人會忽視kettle的環境變數配置,因為不配置它,在linux下照樣可以執行kettle的job和轉換。然而,配置環境變數,尤其是使用配置檔案是非常有好處的。

比如上面的那個job,在通過spoon圖形介面設定這個job時,原始檔夾路徑和目標資料夾路徑,我都定死了:


這樣的壞處顯而易見:如果在別的linux伺服器上執行這個job,別人又不知道你的設定的原始檔夾路徑和,目標資料夾路徑等變數。顯然就不能執行。這個job也沒多大實際的意義(假如你使用了kettle做了個很大的資料處理工程,裡面的諸如檔案路徑,資料庫連線url,名及使用者名稱和密碼都設定死了。別人在他們的linux伺服器上怎麼用你的?)

相反,這時候,我們利用kettle的配置檔案就會非常方便。

1.配置kettle環境變數。最簡單的方法,只要執行命令KETTLE_HOME=?就行了(?代表路徑。如/root

export KETTLE_HOME=/root

輸入:echo ${KETTLE_HOME}。看到/root。且在這個路徑下輸入:ll -la。會看到.kettle資料夾。說明配置成功。

2.配置kettle.properties檔案。

進入.kettle資料夾,會看到kettle.properties檔案。只要在裡面配置需要的變數。在想要的地方通過${}就能取得變數的值,這樣就實現了動態配置kettle job或轉換相關的引數。

五.後臺執行job或轉換(適合定時執行job)

只需

/home/kettle/data-integration/kitchen.sh -file=/home/kettle/transition/move.kjb log=log.log &(“&”就是這個符號了!!)

趕著時間下班,寫的亂,別怪!

相關推薦

linux部署執行kettle——配置檔案動態獲取後臺執行

一.部署準備 1.1 java安裝(略) 1.2 JDK配置         1.命令列鍵入“cd /etc”進入etc目錄 2.命令列鍵入“vi profile”開啟profile檔案 3.敲擊鍵盤ctrl+F到檔案末尾 4.在末尾處,即第一個~的地方,敲擊鍵盤

【Centos7】如何在Linux安裝使用gc++最詳細版

【前言】最近在學習基於Linux的C++程式設計,但是在安裝編譯器的過程中卻遇到了不少問題,網上的一些回答也不夠詳細,因此有了這篇文章。【Centos7】注意,我是在Linux虛擬機器下的centos7中完成的以下教程。【root許可權】開啟終端,或者按Ctrl+Alt+F2

01 Nginx安裝 nginx部署專案,nginx conf配置檔案修改,相關檔案配置

也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!                2 下載pcre,這個是一個正則表示式的庫,Nginx做rewriter的時候回用到這個庫:選中右擊複製所需要的版本:4.將下面安裝檔案上傳到Linux伺服

linuxmysql5.7以上my.cnf配置檔案配置

簡單配置,低配置伺服器配置   [client] #客戶端設定 port = 3306 socket = /data/mysql/data/mysql.sock default-character-set = utf8mb4 [mysqld] user =

Linux搭建PHP開發環境Apache2.4.12+PHP5.6.7+MySQL5.6

      樓主畢業近幾年都是從事Java開發,但前陣子公司外別的公司合作,並接了個專案,該專案的前期是PHP開發的,後期將逐漸轉為Java來開發,但期間的維護,介面的修改都得繼續用PHP,沒辦法啊,由於一下子找不到PHP開發人員,只能我來頂上了。       寫程式碼到不

ubuntu或linux找不到apache伺服器配置檔案httpd.conf

原因是ubuntu中是apache2,沒有httpd.conf檔案,所有找不到。 我的是ubuntu14.04系統,apache2配置檔案在/etc/apache2/apache2.conf中, 如果你的不是在這個目錄下,可以通過此命令查詢:find / -name 

mybatis01配置檔案實現一對一的增刪改查

這時web.xml不需要配置 1.javaBean package com.bean; public class User {  private Integer id;  private String username;  private String pas

CentOS 7.x部署配置zabbix 3.2.x監控工具

centos zabbix 監控一.安裝zabbix服務端1.下載官方yum源:rpm -ivh http://repo.zabbix.com/zabbix/3.2/rhel/7/x86_64/zabbix-release-3.2-1.el7.noarch.rpm2.安裝zabbix服務端(會自動安裝http

Linux安裝Python3的django並配置mysql作為django默認數據庫轉載

make lba del log pri ica www src rim 我的操作系統為centos6.5 1 首先選擇django要使用什麽數據庫。django1.10默認數據庫為sqlite3,本人想使用mysql數據庫,但為了測試方便順便要安裝一下sqlite開發

Linux源碼安裝NginxUbuntuCentOS通用

fig 出現 保存 重啟nginx 文件添加 openssl make 檢測 修改方法 1.下載nginx,鏈接地址:http://nginx.org/download/nginx-1.12.2.tar.gz,選擇linux版本(.tar.gz)(Nginx版本為1.12.

SpringBoot熱部署linux通過vim修改jar裡面的檔案

解決問題: 1、在專案測試或者部署後,經常會遇到需要更改一些配置檔案或者java類,這時使用SpringBoot熱部署可以快速的修改後重啟,方便開發測試; 2、在專案上線後,會遇到一些需要修改的地方,使用linux下的vim工具可以快速的修改已部署好的專案。 一、引入熱部署依賴 &l

linuxcentos6.5部署springboot jar包用 *.sh 檔案啟動專案並將專案做成開機自啟動服務

版權宣告:轉載請註明出處。 原文作者:[email protected] 原文連結:https://blog.csdn.net/weixin_42389328/article/details/83104214 第一種方法:非自啟動方式 1.如果你使用的是maven來管理專案,執行以

jenkins 整合maven,svn配置鉤子程式實現提交程式碼自動構建,tomcat實現熱部署windows+linux分別實現

1 準備工作: (1)執行jenkins的tomcat (2)執行我們專案的tomcat (3)SVN伺服器 jenkins就是一個war包,相信大家都非常熟悉,扔在tomcat  webapp下就能跑,具體操作步驟上網去搜一搜一大把,我們主要是來記錄一下如何實現鉤子程式,實現程式碼的動態部

Linux安裝配置jenkins

1.從jenkins官網下載最新的jenkins的war包,地址:https://jenkins.io/. 2.將jenkins.war丟到tomcat中,並啟動 3.瀏覽器輸入ip:port/jenkins訪問

linux上zabbix-server優化配置檔案資料庫

linux上zabbix-server優化(配置檔案和資料庫) 一、:修改配置檔案       vim /usr/local/zabbix/etc/zabbix_server.conf        Timeout=20 &

LinuxNFS伺服器的搭建與配置

一、NFS服務簡介  NFS 就是 Network FileSystem 的縮寫,最早之前是由sun 這家公司所發展出來的。 它最大的功能就是可以透過網路,讓不同的機器、不同的作業系統、可以彼此分享個別的檔案 (share files)。所以,你也可以簡單的將他看做是一個檔案伺服器 (file server

linux程序執行緒狀態檢視

檢查 使用 ps -fe |grep programname 檢視獲得程序的pid,再使用 ps -Lf pid 檢視對應程序下的執行緒數. 查詢資料發現可以通過設定 ulimit -s 來增加每程序執行緒數。 每程序可用執行緒數 = VIRT上限/stack size

Linux的socket程式設計實踐TCP服務端優化常見函式

併發下的殭屍程序處理 只有一個程序連線的時候,我們可以使用以下兩種方法處理殭屍程序: 1)通過忽略SIGCHLD訊號,避免殭屍程序     在server端程式碼中新增     signal(

Linux的socket程式設計實踐 Select的限制poll併發的初步知識

select的限制 用select實現的併發伺服器,能達到的併發數一般受兩方面限制: 1)一個程序能開啟的最大檔案描述符限制。這可以通過調整核心引數來改變。可以通過ulimit -n(number)來調整或者使用setrlimit函式設定(需要root許可權),但一個系

linuxppp0eth0同時工作時的路由表配置

mac地址唯一 ifconfig eth0 hw ether 00:11:22:33:44:55 原配置為 route add default gw 192.168.9.254 現改為 route add -net 192.168.2.0 netmask 255.255.2