關於大數據領域各個組件打包部署到集群運行的總結（含手動和maven）（博主推薦）
阿新 • • 發佈：2018-05-31
reduce count 圖片 bar big href alt 關於 hdfs 
對於這裏的打包，總結：
(1) 最簡單的，也是為了適應公司裏，還是要用maven，當然spark那邊sbt，maven都可以。但是maven居多。
Eclipse/MyEclipse下如何Maven管理多個Mapreduce程序？（企業級水平）
IDEA裏如何多種方式打jar包，然後上傳到集群
Spark編程環境搭建（基於Intellij IDEA的Ultimate版本）（包含Java和Scala版的WordCount）（博主強烈推薦)
(2) 將整個項目打jar包進去，只需指定想要的類即可。比如你直接打成一個總的jar包，如guangdiang.jar。
[hadoop@master jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR
[hadoop@master jar]$ hadoop jar ./guangdian.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR
(3) 直接將你想要的類打成jar包即可，比如guangdiangACCR.jar。
[hadoop@master jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR 或 [hadoop@master jar]$ hadoop jar ./guangdianACCR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountChannelRating /tv-out-ECN/part-r-00000 /tv-out-ECAARN/part-r-00000 /tv-out-ACCR
比如guangdiangACPR.jar。
[hadoop@master jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating /tv-out-ECN/part-r-00000 /tv-out-EPAARN/part-r-00000 /tv-out-ACPR
或 [hadoop@master jar]$ hadoop jar ./guangdianACPR.jar zhouls.bigdata.enterpriseMyHadoop.tv.AnalyzeCountProgramRating hdfs://master:9000/tv-out-ECN/part-r-00000 hdfs://master:9000/tv-out-EPAARN/part-r-00000 hdfs://master:9000/tv-out-ACPR
成功！
關於大數據領域各個組件打包部署到集群運行的總結（含手動和maven）（博主推薦）