1. 程式人生 > >idea,maven打包spark程式(scala)的jar檔案

idea,maven打包spark程式(scala)的jar檔案

1.new-->project--->maven 填入GroupId和ArtifactId(相當於給你的專案起名字) 2.在pom.xml中<project>標籤中建立</dependencies>標籤 3.在http://mvnrepository.com/ 中找到你要新增的包 複製到pom.xml中的</dependencies>中,儲存 4.刪除test 以及main中的java資料夾 5.main中新建scala資料夾 6.右擊專案-----》Add Frameworks Support----》選擇scala 確定 7.右擊scala----》Make Directory As----->Sources Root 4.寫程式 5.File--->Project Structure---->Artifacts----》點選+號--》JAR--》From Modules with---》選好主類 確認
6.刪除左下框xxx.jar檔案除了“xxx compile output”的其他檔案---》確認 7.Build---》Build Artifacts----》xxx:jar build---》Build 8.編譯完成後在out資料夾中可找到編譯好的jar檔案 9.上傳jar檔案到叢集 10.spark-submit --class Recommder --master spark://hadoop1:7077 recomm.jar "coinse_sim_du=0.9/" 問題: 1.出現jvm 的問題 可以用如下方法 開啟 IDEA 安裝目錄,看到有一個 bin 目錄,其中有兩個 vmoptions 檔案,需針對不同的JDK進行配置: 32 位:idea.exe.vmoptions 64 位:idea64.exe.vmoptions
調整裡面的Xmx 和Xms引數 2.出現找不到主類的情況,可以如下解決 (1)解壓jar檔案看看對應的路徑有沒有相應的.class檔案,如果沒有肯定找不到 (2)打包的時候看是不是把其他依賴包打了進去。如果是請重新打包。