1. 程式人生 > >1.linux使用自帶的命令執行spoon寫好的job命令以及效能調優策略

1.linux使用自帶的命令執行spoon寫好的job命令以及效能調優策略

1.
[[email protected] data_integration]# nohup ./kitchen.sh /file file/desktopstatistics.kjb &
[1] 16537
[[email protected] data_integration]# nohup: 忽略輸入並把輸出追加到"nohup.out"
^C
[[email protected] data_integration]# ^C
[[email protected] data_integration]# ll
總用量 12444
drwxr-xr-x. 10 root root      137 11月 15 11:42 adaptive-execution
-rw-r--r--.  1 root root      551 5月  16 2017 Carte.bat
-rw-r--r--.  1 root root      405 5月  16 2017 carte.sh
drwxr-xr-x.  2 root root      126 11月 15 11:42 classes
drwxr-xr-x.  3 root root       35 11月 15 11:42 Data Integration.app
drwxr-xr-x.  2 root root       58 11月 15 11:42 Data Service JDBC Driver
drwxr-xr-x.  3 root root       39 11月 15 11:42 docs
-rw-r--r--.  1 root root      138 5月  16 2017 Encr.bat
-rw-r--r--.  1 root root      140 5月  16 2017 encr.sh
drwxr-xr-x.  3 root root      122 11月 20 10:56 file
-rw-r--r--.  1 root root   138902 11月 21 09:00 hs_err_pid14811.log
-rw-r--r--.  1 root root   149593 11月 20 15:56 hs_err_pid27766.log
-rw-r--r--.  1 root root   149750 11月 20 16:53 hs_err_pid8674.log
-rw-r--r--.  1 root root    17470 11月 20 16:52 hs_err_pid8746.log
-rw-r--r--.  1 root root   149845 11月 20 16:57 hs_err_pid9137.log
-rw-r--r--.  1 root root      961 11月 20 17:02 hs_err_pid9521.log
-rw-r--r--.  1 root root      131 5月  16 2017 Import.bat
-rw-r--r--.  1 root root     2354 5月  16 2017 import-rules.xml
-rw-r--r--.  1 root root      275 5月  16 2017 import.sh
-rw-r--r--.  1 root root      122 11月 20 12:10 jdbc_config.properties
-rw-r--r--.  1 root root      184 5月  16 2017 Kitchen.bat
-rwxr-xr-x.  1 root root      354 5月  16 2017 kitchen.sh
drwxr-xr-x.  2 root root      106 11月 15 11:42 launcher
drwxr-xr-x.  2 root root    12288 11月 16 11:24 lib
drwxr-xr-x.  6 root root       58 11月 15 11:42 libswt
-rw-r--r--.  1 root root    13366 5月  16 2017 LICENSE.txt
drwxr-xr-x.  2 root root       23 11月 20 11:32 logs
-rw-------.  1 root root  1219973 11月 21 09:12 nohup.out
-rw-r--r--.  1 root root      172 5月  16 2017 Pan.bat
-rw-r--r--.  1 root root      320 5月  16 2017 pan.sh
-rw-r--r--.  1 root root 10141551 5月  16 2017 PentahoDataIntegration_OSS_Licenses.html
drwxr-xr-x. 27 root root     4096 11月 15 11:42 plugins
-rw-r--r--.  1 root root      213 5月  16 2017 purge-utility.bat
-rw-r--r--.  1 root root      347 5月  16 2017 purge-utility.sh
drwxr-xr-x.  2 root root      176 11月 15 11:42 pwd
-rw-r--r--.  1 root root     1312 5月  16 2017 README.txt
-rw-r--r--.  1 root root      522 5月  16 2017 runSamples.bat
-rw-r--r--.  1 root root      305 5月  16 2017 runSamples.sh
drwxr-xr-x.  5 root root       51 11月 15 11:42 samples
-rw-r--r--.  1 root root     4098 5月  16 2017 set-pentaho-env.bat
-rw-r--r--.  1 root root     3710 5月  16 2017 set-pentaho-env.sh
drwxr-xr-x.  2 root root       29 11月 15 11:42 simple-jndi
-rw-r--r--.  1 root root      271 5月  16 2017 Spark-app-builder.bat
-rw-r--r--.  1 root root      309 5月  16 2017 spark-app-builder.sh
-rw-r--r--.  1 root root     3857 5月  16 2017 Spoon.bat
-rw-r--r--.  1 root root      220 5月  16 2017 spoon.command
-rw-r--r--.  1 root root       98 5月  16 2017 SpoonConsole.bat
-rw-r--r--.  1 root root     1271 5月  16 2017 SpoonDebug.bat
-rw-r--r--.  1 root root     1051 5月  16 2017 SpoonDebug.sh
-rw-r--r--.  1 root root   370070 5月  16 2017 spoon.ico
-rw-r--r--.  1 root root     1345 5月  16 2017 spoon.png
-rwxr-xr-x.  1 root root     6355 5月  16 2017 spoon.sh
drwxr-xr-x.  5 root root       47 11月 15 11:42 system
drwxr-xr-x.  3 root root     4096 11月 15 11:43 ui
-rw-r--r--.  1 root root     1628 5月  16 2017 yarn.sh
[

[email protected] data_integration]# tail -f nohup.out 
資訊: Registered blueprint namespace handler for http://cxf.apache.org/policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://www.w3.org/ns/ws-policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://www.w3.org/2006/07/ws-policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2004/09/policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-secext-1.0.xsd
十一月 2^C
[
[email protected]
data_integration]# tail -f nohup.out 
資訊: Registered blueprint namespace handler for http://cxf.apache.org/policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://www.w3.org/ns/ws-policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://www.w3.org/2006/07/ws-policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2004/09/policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-secext-1.0.xsd
十一月 2^C
[
[email protected]
data_integration]# ^C
[[email protected] data_integration]# nohup ./kitchen.sh /file file/report.kjb &
[2] 17063
[[email protected] data_integration]# nohup: 忽略輸入並把輸出追加到"nohup.out"
[[email protected] data_integration]# 

兩個紅色加粗部分為後臺新增的兩個服務在啟動

使用linux自帶命令進行掛載,執行命令如下:

nohup ./kitchen.sh /file file/report.kjb &

然後進入nohup.out(linux自帶的類似於log4j的日誌檔案),進行檢視:

命令列如下所示:

drwxr-xr-x.  2 root root      126 11月 15 11:42 classes
drwxr-xr-x.  3 root root       35 11月 15 11:42 Data Integration.app
drwxr-xr-x.  2 root root       58 11月 15 11:42 Data Service JDBC Driver
drwxr-xr-x.  3 root root       39 11月 15 11:42 docs
-rw-r--r--.  1 root root      138 5月  16 2017 Encr.bat
-rw-r--r--.  1 root root      140 5月  16 2017 encr.sh
drwxr-xr-x.  3 root root      122 11月 20 10:56 file

下面是生成的日誌的log日誌生成檔案:
-rw-r--r--.  1 root root   138902 11月 21 09:00 hs_err_pid14811.log
-rw-r--r--.  1 root root    17475 11月 21 09:20 hs_err_pid17107.log
-rw-r--r--.  1 root root    17524 11月 21 09:28 hs_err_pid17694.log
-rw-r--r--.  1 root root    16912 11月 21 09:31 hs_err_pid18092.log
-rw-r--r--.  1 root root    17411 11月 21 09:31 hs_err_pid18103.log
-rw-r--r--.  1 root root   149593 11月 20 15:56 hs_err_pid27766.log
-rw-r--r--.  1 root root   149750 11月 20 16:53 hs_err_pid8674.log
-rw-r--r--.  1 root root    17470 11月 20 16:52 hs_err_pid8746.log
-rw-r--r--.  1 root root   149845 11月 20 16:57 hs_err_pid9137.log
-rw-r--r--.  1 root root      961 11月 20 17:02 hs_err_pid9521.log

-rw-r--r--.  1 root root      131 5月  16 2017 Import.bat
-rw-r--r--.  1 root root     2354 5月  16 2017 import-rules.xml
-rw-r--r--.  1 root root      275 5月  16 2017 import.sh
-rw-r--r--.  1 root root      122 11月 20 12:10 jdbc_config.properties
-rw-r--r--.  1 root root      184 5月  16 2017 Kitchen.bat

啟動的命令列L----linux下:
-rwxr-xr-x.  1 root root      354 5月  16 2017 kitchen.sh
drwxr-xr-x.  2 root root      106 11月 15 11:42 launcher
drwxr-xr-x.  2 root root    12288 11月 16 11:24 lib
drwxr-xr-x.  6 root root       58 11月 15 11:42 libswt
-rw-r--r--.  1 root root    13366 5月  16 2017 LICENSE.txt
drwxr-xr-x.  2 root root       23 11月 20 11:32 logs
-rw-------.  1 root root  1226273 11月 21 09:33 nohup.out
-rw-r--r--.  1 root root      172 5月  16 2017 Pan.bat
-rw-r--r--.  1 root root      320 5月  16 2017 pan.sh
-rw-r--r--.  1 root root 10141551 5月  16 2017 PentahoDataIntegration_OSS_Licenses.html
drwxr-xr-x. 27 root root     4096 11月 15 11:42 plugins
-rw-r--r--.  1 root root      213 5月  16 2017 purge-utility.bat
-rw-r--r--.  1 root root      347 5月  16 2017 purge-utility.sh
drwxr-xr-x.  2 root root      176 11月 15 11:42 pwd
-rw-r--r--.  1 root root     1312 5月  16 2017 README.txt
-rw-r--r--.  1 root root      522 5月  16 2017 runSamples.bat
-rw-r--r--.  1 root root      305 5月  16 2017 runSamples.sh
drwxr-xr-x.  5 root root       51 11月 15 11:42 samples
-rw-r--r--.  1 root root     4098 5月  16 2017 set-pentaho-env.bat
-rw-r--r--.  1 root root     3710 5月  16 2017 set-pentaho-env.sh
drwxr-xr-x.  2 root root       29 11月 15 11:42 simple-jndi
-rw-r--r--.  1 root root      271 5月  16 2017 Spark-app-builder.bat
-rw-r--r--.  1 root root      309 5月  16 2017 spark-app-builder.sh
-rw-r--r--.  1 root root     3857 5月  16 2017 Spoon.bat
-rw-r--r--.  1 root root      220 5月  16 2017 spoon.command
-rw-r--r--.  1 root root       98 5月  16 2017 SpoonConsole.bat
-rw-r--r--.  1 root root     1271 5月  16 2017 SpoonDebug.bat
-rw-r--r--.  1 root root     1051 5月  16 2017 SpoonDebug.sh
-rw-r--r--.  1 root root   370070 5月  16 2017 spoon.ico
-rw-r--r--.  1 root root     1345 5月  16 2017 spoon.png
-rwxr-xr-x.  1 root root     6355 5月  16 2017 spoon.sh
drwxr-xr-x.  5 root root       47 11月 15 11:42 system
drwxr-xr-x.  3 root root     4096 11月 15 11:43 ui
-rw-r--r--.  1 root root     1628 5月  16 2017 yarn.sh

重新掛載啟動服務:

使用橙色的命令:

[[email protected] data_integration]# tail -fn 100 nohup.out    //tail -fn 檢視檔案多少行,100行輸出目錄, nohup.out是檔名
Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
        at org.pentaho.di.core.database.Database.getLookup(Database.java:2899)
        at org.pentaho.di.core.database.Database.getLookup(Database.java:2875)
        at org.pentaho.di.core.database.Database.getLookup(Database.java:2871)
        at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.lookupValues(InsertUpdate.java:89)
        at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:299)
        ... 2 more
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
        at com.mysql.jdbc.Util.getInstance(Util.java:408)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:944)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3978)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3914)
        at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2530)
        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2683)
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2495)
        at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1903)
        at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:2011)
        at org.pentaho.di.core.database.Database.getLookup(Database.java:2883)
        ... 6 more
2018/11/21 09:09:12 - 插入 / 更新 13.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Unexpected error
2018/11/21 09:09:12 - 插入 / 更新 13.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : org.pentaho.di.core.exception.KettleStepException: 
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Error in step, asking everyone to stop because of:
2018/11/21 09:09:12 - 插入 / 更新 13.0 - 
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Error looking up row in database
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
2018/11/21 09:09:12 - 插入 / 更新 13.0 - 
2018/11/21 09:09:12 - 插入 / 更新 13.0 - 
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:313)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at java.lang.Thread.run(Thread.java:748)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException: 
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Error looking up row in database
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
2018/11/21 09:09:12 - 插入 / 更新 13.0 - 
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at org.pentaho.di.core.database.Database.getLookup(Database.java:2899)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at org.pentaho.di.core.database.Database.getLookup(Database.java:2875)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at org.pentaho.di.core.database.Database.getLookup(Database.java:2871)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.lookupValues(InsertUpdate.java:89)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:299)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        ... 2 more
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.Util.getInstance(Util.java:408)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:944)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3978)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3914)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2530)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2683)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2495)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1903)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:2011)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        at org.pentaho.di.core.database.Database.getLookup(Database.java:2883)
2018/11/21 09:09:12 - 插入 / 更新 13.0 -        ... 6 more
child index = 51, logging object : [email protected] parent=47e19a14-02d3-4c04-a4e1-526d2a952d05
2018/11/21 09:09:12 - 插入 / 更新 13.0 - 完成處理 (I=0, O=0, R=1, W=0, U=0, E=1)
2018/11/21 09:09:13 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:13 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:14 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:14 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:14 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:14 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:15 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:15 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:16 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:16 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:16 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:16 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:17 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:17 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:18 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:18 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:19 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:19 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:19 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:19 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:20 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:20 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:21 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:21 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:21 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:21 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:22 - areacheckdaily - 轉換被檢測 
2018/11/21 09:09:22 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:22 - areacheckdaily - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : 錯誤被檢測到!
2018/11/21 09:09:22 - report - 完成作業項[轉換] (結果=[false])
2018/11/21 09:09:22 - report - 完成作業項[jdbc_config.properties] (結果=[false])
2018/11/21 09:09:22 - report - 任務執行完畢
2018/11/21 09:09:22 - Kitchen - Finished!
2018/11/21 09:09:22 - Kitchen - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Finished with errors
2018/11/21 09:09:22 - Kitchen - Start=2018/11/21 09:09:05.471, Stop=2018/11/21 09:09:22.462
2018/11/21 09:09:22 - Kitchen - Processing ended after 16 seconds.