1. 程式人生 > >graphX內存不夠的解決方法

graphX內存不夠的解決方法

bsp 什麽 最大 xmx memory 打開 exp 興趣 rep

前段時間用graphX跑一個只有88M的小圖,竟然給我報錯說內存不夠,我說怎麽可能呢我可用內存可有2G呢

從網上東搞西搞一些解決方案,終於給我搞定了

其實原因是spark 的 java heap內存默認只給512M,有時候確實是不夠用的,這時候只要改下{SPARK_HOME}/conf/spark-env.sh配置文件就行了

vim打開spark-env.sh

加入下面幾句

export SPARK_DAEMON_JAVA_OPTS=-Xmx2048m
export SPARK_WORKER_MEMORY=-Xmx2048m
export SPARK_DAEMON_MEMORY=-Xmx2048m
export SPARK_REPL_OPTS=-XX:MaxPermSize=2048m 

它們分別代表spark幾個內存使用配置的最大值,不管那麽多全部直接設為最大就好了,有興趣的可以很快在網上搜到它們分別代表什麽

graphX內存不夠的解決方法