idea 2步配置 遠端除錯spark

摘要： spark-submit提交包是在伺服器上，本地開發環境沒有spark-submit。如果想要本地debug遠端的spark，用idea很簡單就可以實現。 1，idea配置 idea debug spark 配置 idea debug spar...

spark-submit提交包是在伺服器上，本地開發環境沒有spark-submit。如果想要本地debug遠端的spark，用idea很簡單就可以實現。

1，idea配置

上圖中的-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=19001，並不能直接編輯

我用的idea是2018.3.1版。

2，服務端啟動spark程式，並debug

2.1，啟動spark任務

# spark-submit --class com.spark_sql.xxxx.run --master yarn --driver-java-options \
"-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=19001" sparkApp3-1.0-SNAPSHOT.jar 有

有一點要注意：--driver-java-options，一定要放在jar包前面。不然除錯的埠起不來。

Listening for transport dt_socket at address: 19001，會停在這兒等待idea debug

2.2，idea啟動debug

3.3，打斷點，測試