前期：已安裝好hadoop叢集和spark叢集，hadoop2.6.5，spark2.3.1，jdk1.8. scala2.1.0

第一步：在idea編寫scala程式，並且要打包（pom檔案的build標籤中配置好maven打包程式碼，可以定義主類也可以在提交的時候再定義）{補充：可以在spark本地除錯程式，新建一個application，新增程式碼主類，program arguments可以新增傳入的引數}

maven打包在：veiw-->Tool Windows-->Maven Projects開啟視窗 點選clean，再點選package打好jar包

第二步：啟動hadoop和spark叢集，將資料傳到hdfs上。

第三步：將打好的jar包上傳到叢集上，使用spark-submit提交任務

spark-submit --class wang.SparkWC --executor-memory 512m --total-executor-cores 2 /root/Download/SparkTest-1.0-SNAPSHOT.jar hdfs://wang-one/user/data/in.txt/ hdfs://wang-one/user/output

spark-submit    //提交

--class wang.SparkWC  //指定程式碼的主類入口 

--executor-memory 512m  //申請的記憶體大小

--total-executor-cores 2  //申請的cpu核數

/root/Download/SparkTest-1.0-SNAPSHOT.jar //指定提交程式碼jar包位置  

hdfs://wang-one/user/data/in.txt/  //資料存放位置。hdfs://wang-one/是在core-site.xml配置的，一般都會指定在9000埠。

hdfs://wang-one/user/output  //資料的輸出位置。

第四步：使用hadoop fs -ls -R /檢視hdfs檔案目錄  有user/output/_SUCCESS表示執行成功。可以使用hadoop fs -cat /user/output/p*檢視輸出內容 

程式碼，jar包，資料和連結:https://download.csdn.net/download/cuicanxingchen123456/10754836