1. 程式人生 > >kettle記憶體溢位解決方法

kettle記憶體溢位解決方法

現在做的一個專案ETL採用KETTLE,通過Perl指令碼進行分天表、月表及年表的建立,並修改KETTLE建立的抽取任務模板。即使這樣在處理天表表近百萬資料量時,Kettle也會有時發生記憶體溢位現象,導致抽取任務失敗。今天發現了一哥們BLOG中的解決辦法,特分享。

以Spoon.bat為例,其他元件和.sh操作類似

用文字編輯器開啟Spoon.bat找到:

REM ******************************************************************

REM ** Set java runtime options                                     **

REM ** Change 256m to higher values in case you run out of memory.  **

REM ******************************************************************

set OPT=-Xmx1444m -cp %CLASSPATH% -Djava.library.path=libswt\win32\ -DKETTLE_HOME="%KETTLE_HOME%" -DKETTLE_REPOSITORY="%KETTLE_REPOSITORY%" -DKETTLE_USER="%

KETTLE_USER%" -DKETTLE_PASSWORD="%KETTLE_PASSWORD%" -DKETTLE_PLUGIN_PACKAGES="%KETTLE_PLUGIN_PACKAGES%"

修改這裡的數字...-Xmx1444m...

我裝的是jdk-1_5_0_14這裡的1444m是極限了.大家可以在自己的機器上試驗不同的數值.

WEKA(感謝網友:comcome84)

用文字編輯器開啟RunWeka.ini找到:

# placeholders ("#bla#" in command gets replaced with content of key "bla")

# Note: "#wekajar#" gets replaced by the launcher class, since that jar gets

#       provided as parameter

maxheap=1444m

這裡同樣被我修改成1444m.

相關推薦

kettle記憶體溢位解決方法

現在做的一個專案ETL採用KETTLE,通過Perl指令碼進行分天表、月表及年表的建立,並修改KETTLE建立的抽取任務模板。即使這樣在處理天表表近百萬資料量時,Kettle也會有時發生記憶體溢位現象,導致抽取任務失敗。今天發現了一哥們BLOG中的解決辦法,特分享。 以Spoon.bat為例,其他元件

JMeter學習(二十八)記憶體溢位解決方法

使用jmeter進行壓力測試時遇到一段時間後報記憶體溢位outfmenmory錯誤,導致jmeter卡死了,先嚐試在jmeter.bat中增加了JVM_ARGS="-Xmx2048m -Xms2048m -Xmn256m -XX:PermSize=128m -Xss256k",但結果執行時間增加了,

jmeter記憶體溢位解決方法(OutOfMemoryError:記憶體溢位

  在執行壓力測試時候,有時候會遇到OutOfMemoryError這樣的異常;JMeter是一個純Java開發的工具,記憶體是由java虛擬機器JVM管理;如果出現了記憶體溢位的問題,可以通過調整JVM記憶體相關的引數進行優化。      具體過程如下:

jvm配置(記憶體溢位解決方法

JAVA_OPTS引數說明與配置 最近手頭的專案報記憶體溢位錯誤,記憶體溢位(Out Of Memofy) 錯誤資訊:Java.lang.OutOfMemoryError: Java heap space 測試環境

[ Tomcat ] Eclispe下 Tomcat記憶體溢位解決方法

修改1: 在Eclipse中下面Servers雙擊Tomcat Server... 然後點選General InformAtion 下的Open launch configuration; 會彈出Edit Configuration,然後在選中Atg

Android下的,OOM記憶體溢位解決方法\AsyncTask

在Android平臺上面,應用程式OOM異常永遠都是值得關注的問題。通常這一塊也是程式這中的重點之一。這下我就如何解決OOM作一點簡單的介紹。     首先,OOM就是記憶體溢位,即Out Of Memory。也就是說記憶體佔有量超過了VM所分配的最大。     怎麼解決

在eclipse中解決記憶體溢位方法

如果專案太大,或引入了大量的第三方架包可能導致記憶體溢位問題。  最簡單的解決辦法:  在Eclipse中,window-->preferences-->Java-->Installed JREs  選中JRE 點選Edit 

CentOS/Linux伺服器的記憶體不夠解決方法

又由於我安裝其他工具,提示我記憶體不足,所以想用提高虛擬記憶體的方法去安裝這個軟體,本來都已經安裝完了,今天我手賤把Linux重啟了一下,沒看仔細,不過也不是壞事情,正好記錄下設定過程,以便下次再重啟的時候方便設定! 1.開啟終端,切換到root使用者,輸入:free -m檢視記憶體狀態[[email

Android中Handler造成記憶體洩露解決方法

Handler在建立時Android Lint會提示出警告: This Handler class should be static or leaks might occur 。

常見的 Java 記憶體溢位解決方案

一、 java.lang.OutOfMemoryError: Java heap space —-JVM Heap(堆)溢位 JVM 在啟動的時候會自動設定 JVM Heap 的值,其初始空間(即-Xms)是實體記憶體的1/64,最大空間(-Xmx)不可超過實體記憶體。可以利用 JVM提

Jmeter報記憶體溢位解決方案

描述:wimdows環境,做上傳圖片介面測試,涉及圖片合成和上傳,圖片採用base64編碼。每1s啟動200執行緒的時候,Jmeter報記憶體溢位錯誤。 解決方案: 1、修改jmeter.bat: set HEAP=-Xms256m -Xmx256m 改為: se

weblogic 記憶體溢位解決 java.lang.OutOfMemoryError: PermGen space

解決辦法: 1、在idea中,執行時給weblogic server中 VM options 配置增加記憶體的引數:-server -XX:PermSize=1024m -XX:MaxPermSize=1024m   如下圖:     2、調整PermSize 的大小為如下後,再次開啟正

Tomcat 記憶體溢位解決方式

在專案部署過程中經常會出現tomcat記憶體溢位的問題,一下是本人遇到的幾種情況: 注意:linux 與windows 修改的方式不同,具體設定大小根據現場情況。 linux下編輯tomcat的catalina.sh檔案,在第一行的後面增加一句,或者在 echo Using CATALI

webstorm狂吃記憶體解決方法

原文地址: http://www.cnblogs.com/chaoyong/p/7985349.html 今天使用webstorm,電腦居然卡死了,我的電腦配置: 執行記憶體16g,1.5T記憶體的臺式, 後來發現,可以通過設定 記憶體值大小來解決。 具體辦法: 找到W

J2EE專案記憶體溢位解決辦法總結

提示:Caused by: java.lang.OutOfMemoryError: PermGen space 前段時間,發現專案記憶體溢位了。apache+tomcat叢集。解決辦法如下: 1.  用jprofile工具查詢專案情況。或者用JDK自帶的工具。如:jcon

Tomcat記憶體洩露解決方法

環境: 今天早上,實施人員找我說,部署在tomcat上的一個專案總是間隔一段時間就自動關閉了,我詢問一些可能發生的情況後,我就找了tomcat下的日誌檔案catalina.2015-04-13.log,localhost.2015-04-13.log這兩檔案,經過一番查詢後

JVM總結-記憶體監視手段及各區域記憶體溢位解決

引言 本文僅關注一些常見的虛擬機器記憶體監視手段,以及JVM執行時資料區各個部分記憶體溢位的發生和對應的解決方案,總體來說屬於概括性總結,涉及相對不是很深入,目的是讓自己和其它初學者有一個框架性、概念性的瞭解,當遇到問題時有跡可循、不至於不知所措。 一、虛擬機器記憶

Tomcat記憶體溢位解決辦法

如果是eclipse記憶體溢位引起的錯誤,修改eclipse.ini檔案如下: -Xms128M -Xmx512M -XX:PermSize=512M -XX:MaxPermSize=1024m 如果是tomcat記憶體溢位引起的錯誤,加上這個引數 -Xms256M -

delphi 2010 啟動無響應,過一段時間後出現“displayNotification:堆疊溢位解決方法

現象:啟動delphi 2010 後無響應,過很久(幾十秒後),出現錯誤框“displayNotification:堆疊溢位”。 解決方法:開啟IE,在Internet選項中,刪除歷史記錄。 已經兩次遇到該問題了,每次都是從網上搜索解決方法,在此記錄一下。

IDEA記憶體溢位解決辦法

1、不要通過idea.exe啟動,而是通過idea64.exe啟動IDEA 2、修改引數檔案為idea.exe.vmoptions 原檔案為: -server -Xms128m -Xmx102