1. 程式人生 > >spark任務執行及jar包

spark任務執行及jar包

spark的jar包沒必要把所有相關的依賴都打進一個jar包中,因為這樣會把spark、hadoop本身相關的jar包也打進去,但是這些依賴在用spark-submit命令執行時,會自動載入部署環境中已有的。

/opt/cloudera/parcels/CDH/bin/spark-submit \

--class "cn.icarevision.its007.upgrade.EsIndexUpgrade" \

--jars ~/its007/its007-upgrade/lib/dependency/*.jar \ 

~/its007/its007-upgrade/lib/hello-es-hadoop_2.10-1.0.jar

其中--jars是是所有依賴的jar包,這裡我把所有依賴的jar包放到了dependency這個目錄。