0.環境：

java 1.8

scala 2.11.8

maven 3.5.0

idea 2017

spark 2.2.0

1完成以下配置

java環境變量

scala環境變量

maven setting配置文件jar包存放路徑

idea下載scala plugins語言插件

idea配置maven setting及jar包存放路徑

spark git :https://github.com/apache/spark.git

2編譯spark源碼

進入目錄$spark_home

配置maven內存大小，或者在maven配置文件中配置（$maven_home/bin/mvn）

exportMAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

打包spark源碼

./build/mvn-Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

3 debug調試配置

1）加載所有jars

idea =>file => project structure=> libraries => add java =>$spark_home/assembly/target/scala-2.11/jars =>all project

2）debug配置

idea=>run =>run config =>

隨著git代碼更新到本地，打包代碼與debug代碼 不一致，把下面的 build 刪除即可。

3）打斷點

4）debug調試

作者：HxLiang
鏈接：https://www.jianshu.com/p/491d019eb9b6
來源：簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。

idea下關聯spark源碼環境（轉）