1. 程式人生 > >Spark執行過程出現outofmemory錯誤的解決方案

Spark執行過程出現outofmemory錯誤的解決方案

進入Spark的conf目錄,找到spark-env.sh檔案,新增如下值:

export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_INSTANCES=2
export SPARK_EXECUTOR_MEMORY=4g
export SPARK_DRIVER_MEMORY=4g
export SPARK_JAVA_OPTS="-Xms2048m -Xmx4096m -Dspark.cores.max=2 -Dspark.executor.memory=4g"

考慮只新增如下值應該也可以:
export SPARK_JAVA_OPTS="-Xms2048m -Xmx4096m -Dspark.cores.max=2 -Dspark.executor.memory=4g"

注意上面的2048等數值可以根據配置自行調整。