1. 程式人生 > >idea遠端除錯spark任務

idea遠端除錯spark任務

1.在idea 新建Remote 在這裡插入圖片描述 2.spark任務提交,監聽啟動 spark2-submit --master yarn --deploy-mode client --class com.my.base.TestDemo --driver-memory 4g --executor-memory 20g --executor-cores 2 --num-executors 10 --driver-java-options “-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8787” ./RemoteDemo-jar-with-dependencies.jar 注意:埠號要一致,都是8787 3.debug方式執行本地main方法