linux下部署和執行kettle——(配置檔案、動態獲取、後臺執行)
一.部署準備
1.1 java安裝(略)
1.2 JDK配置
1.命令列鍵入“cd /etc”進入etc目錄
2.命令列鍵入“vi profile”開啟profile檔案
3.敲擊鍵盤ctrl+F到檔案末尾
4.在末尾處,即第一個~的地方,敲擊鍵盤將以下內容輸入到檔案
export JAVA_HOME=/usr/java/jre1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5.鍵盤敲擊exc,命令列鍵入“
JDK配置成功:
1. 命令:java -version.出現版本資訊
2. 命令:echo ${JAVA_HOME}出現配置路徑
二.kettle部署
1.在linux下某個目錄下建立一個資料夾,將你從官網上下載的kettle(我的是pdi-ce-5.1.0.0-752.zip)解壓後放在該資料夾
下。
2.在解壓的路徑下找到kitchen.sh所在的路徑,進入該目錄,通過chmod +x *.sh賦予.sh檔案執行許可權。
3.輸入命令./kitchen.sh。如果出現幫助資訊說明部署成功。
三.shell指令碼執行kettle job或轉換
以執行一個轉換為例:
1.我的kettle部署位置:
/home/kettle
kitchen.sh(用來執行job)和pan.sh(用來執行轉換)等都在data-integration下面。
2.transtion下有一個實現檔案轉移的job和兩個資料夾:原始檔夾和目標資料夾。執行job的shell指令碼也放在此資料夾下:
startup.sh的內容:
/home/kettle/data-integration/kitchen.sh -file=/home/kettle/transition/move.kjb log=log.log。
3.進入startup.sh在的路徑:
cd /home/kettle/transition
4.輸入命令:./startup.sh即可執行move.kjb.
四.kettle環境變數配置及配置檔案
很多人會忽視kettle的環境變數配置,因為不配置它,在linux下照樣可以執行kettle的job和轉換。然而,配置環境變數,尤其是使用配置檔案是非常有好處的。
比如上面的那個job,在通過spoon圖形介面設定這個job時,原始檔夾路徑和目標資料夾路徑,我都定死了:
這樣的壞處顯而易見:如果在別的linux伺服器上執行這個job,別人又不知道你的設定的原始檔夾路徑和,目標資料夾路徑等變數。顯然就不能執行。這個job也沒多大實際的意義(假如你使用了kettle做了個很大的資料處理工程,裡面的諸如檔案路徑,資料庫連線url,名及使用者名稱和密碼都設定死了。別人在他們的linux伺服器上怎麼用你的?)
相反,這時候,我們利用kettle的配置檔案就會非常方便。
1.配置kettle環境變數。最簡單的方法,只要執行命令KETTLE_HOME=?就行了(?代表路徑。如/root)
export KETTLE_HOME=/root
輸入:echo ${KETTLE_HOME}。看到/root。且在這個路徑下輸入:ll -la。會看到.kettle資料夾。說明配置成功。
2.配置kettle.properties檔案。
進入.kettle資料夾,會看到kettle.properties檔案。只要在裡面配置需要的變數。在想要的地方通過${}就能取得變數的值,這樣就實現了動態配置kettle job或轉換相關的引數。
五.後臺執行job或轉換(適合定時執行job)
只需
/home/kettle/data-integration/kitchen.sh -file=/home/kettle/transition/move.kjb log=log.log &(“&”就是這個符號了!!)
趕著時間下班,寫的亂,別怪!
相關推薦
linux下部署和執行kettle——(配置檔案、動態獲取、後臺執行)
一.部署準備 1.1 java安裝(略) 1.2 JDK配置 1.命令列鍵入“cd /etc”進入etc目錄 2.命令列鍵入“vi profile”開啟profile檔案 3.敲擊鍵盤ctrl+F到檔案末尾 4.在末尾處,即第一個~的地方,敲擊鍵盤
【Centos7】如何在Linux下安裝和使用gc++(最詳細版)
【前言】最近在學習基於Linux的C++程式設計,但是在安裝編譯器的過程中卻遇到了不少問題,網上的一些回答也不夠詳細,因此有了這篇文章。【Centos7】注意,我是在Linux虛擬機器下的centos7中完成的以下教程。【root許可權】開啟終端,或者按Ctrl+Alt+F2
01 Nginx安裝 nginx下部署專案,nginx conf配置檔案修改,相關檔案配置
也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興! 2 下載pcre,這個是一個正則表示式的庫,Nginx做rewriter的時候回用到這個庫:選中右擊複製所需要的版本:4.將下面安裝檔案上傳到Linux伺服
linux下mysql5.7以上my.cnf配置檔案配置
簡單配置,低配置伺服器配置 [client] #客戶端設定 port = 3306 socket = /data/mysql/data/mysql.sock default-character-set = utf8mb4 [mysqld] user =
Linux下搭建PHP開發環境(Apache2.4.12+PHP5.6.7+MySQL5.6)
樓主畢業近幾年都是從事Java開發,但前陣子公司外別的公司合作,並接了個專案,該專案的前期是PHP開發的,後期將逐漸轉為Java來開發,但期間的維護,介面的修改都得繼續用PHP,沒辦法啊,由於一下子找不到PHP開發人員,只能我來頂上了。 寫程式碼到不
ubuntu或linux下找不到apache伺服器配置檔案httpd.conf
原因是ubuntu中是apache2,沒有httpd.conf檔案,所有找不到。 我的是ubuntu14.04系統,apache2配置檔案在/etc/apache2/apache2.conf中, 如果你的不是在這個目錄下,可以通過此命令查詢:find / -name
mybatis01(配置檔案實現一對一的增刪改查)
這時web.xml不需要配置 1.javaBean package com.bean; public class User { private Integer id; private String username; private String pas
CentOS 7.x下部署和配置zabbix 3.2.x監控工具
centos zabbix 監控一.安裝zabbix服務端1.下載官方yum源:rpm -ivh http://repo.zabbix.com/zabbix/3.2/rhel/7/x86_64/zabbix-release-3.2-1.el7.noarch.rpm2.安裝zabbix服務端(會自動安裝http
Linux下安裝Python3的django並配置mysql作為django默認數據庫(轉載)
make lba del log pri ica www src rim 我的操作系統為centos6.5 1 首先選擇django要使用什麽數據庫。django1.10默認數據庫為sqlite3,本人想使用mysql數據庫,但為了測試方便順便要安裝一下sqlite開發
Linux下源碼安裝Nginx(Ubuntu和CentOS通用)
fig 出現 保存 重啟nginx 文件添加 openssl make 檢測 修改方法 1.下載nginx,鏈接地址:http://nginx.org/download/nginx-1.12.2.tar.gz,選擇linux版本(.tar.gz)(Nginx版本為1.12.
SpringBoot熱部署和linux下通過vim修改jar裡面的檔案
解決問題: 1、在專案測試或者部署後,經常會遇到需要更改一些配置檔案或者java類,這時使用SpringBoot熱部署可以快速的修改後重啟,方便開發測試; 2、在專案上線後,會遇到一些需要修改的地方,使用linux下的vim工具可以快速的修改已部署好的專案。 一、引入熱部署依賴 &l
linux(centos6.5)下部署springboot jar包用 *.sh 檔案啟動專案並將專案做成開機自啟動服務
版權宣告:轉載請註明出處。 原文作者:[email protected] 原文連結:https://blog.csdn.net/weixin_42389328/article/details/83104214 第一種方法:非自啟動方式 1.如果你使用的是maven來管理專案,執行以
jenkins 整合maven,svn(配置鉤子程式實現提交程式碼自動構建),tomcat實現熱部署(windows+linux分別實現)
1 準備工作: (1)執行jenkins的tomcat (2)執行我們專案的tomcat (3)SVN伺服器 jenkins就是一個war包,相信大家都非常熟悉,扔在tomcat webapp下就能跑,具體操作步驟上網去搜一搜一大把,我們主要是來記錄一下如何實現鉤子程式,實現程式碼的動態部
Linux下安裝和配置jenkins
1.從jenkins官網下載最新的jenkins的war包,地址:https://jenkins.io/. 2.將jenkins.war丟到tomcat中,並啟動 3.瀏覽器輸入ip:port/jenkins訪問
linux上zabbix-server優化(配置檔案和資料庫)
linux上zabbix-server優化(配置檔案和資料庫) 一、:修改配置檔案 vim /usr/local/zabbix/etc/zabbix_server.conf Timeout=20 &
Linux下NFS伺服器的搭建與配置(轉)
一、NFS服務簡介 NFS 就是 Network FileSystem 的縮寫,最早之前是由sun 這家公司所發展出來的。 它最大的功能就是可以透過網路,讓不同的機器、不同的作業系統、可以彼此分享個別的檔案 (share files)。所以,你也可以簡單的將他看做是一個檔案伺服器 (file server
linux下程序和執行緒狀態檢視
檢查 使用 ps -fe |grep programname 檢視獲得程序的pid,再使用 ps -Lf pid 檢視對應程序下的執行緒數. 查詢資料發現可以通過設定 ulimit -s 來增加每程序執行緒數。 每程序可用執行緒數 = VIRT上限/stack size
Linux下的socket程式設計實踐(四)TCP服務端優化和常見函式
併發下的殭屍程序處理 只有一個程序連線的時候,我們可以使用以下兩種方法處理殭屍程序: 1)通過忽略SIGCHLD訊號,避免殭屍程序 在server端程式碼中新增 signal(
Linux下的socket程式設計實踐(八) Select的限制和poll(併發的初步知識)
select的限制 用select實現的併發伺服器,能達到的併發數一般受兩方面限制: 1)一個程序能開啟的最大檔案描述符限制。這可以通過調整核心引數來改變。可以通過ulimit -n(number)來調整或者使用setrlimit函式設定(需要root許可權),但一個系
linux下ppp0和eth0同時工作時的路由表配置
mac地址唯一 ifconfig eth0 hw ether 00:11:22:33:44:55 原配置為 route add default gw 192.168.9.254 現改為 route add -net 192.168.2.0 netmask 255.255.2