1. 程式人生 > >hadoop中叢集提交任務執行

hadoop中叢集提交任務執行

      
叢集模式執行
1/將工程打成jar包,上傳到伺服器,然後用hadoop命令提交  hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner
2/在linux的eclipse中直接執行main方法,也可以提交到叢集中去執行,但是,必須採取以下措施:
      ----在工程src目錄下加入 mapred-site.xml  和  yarn-site.xml 
      ----將工程打成jar包(wc.jar),同時在main方法中新增一個conf的配置引數 conf.set("mapreduce.job.jar","wc.jar");           


3/在windows的eclipse中直接執行main方法,也可以提交給叢集中執行,但是因為平臺不相容,需要做很多的設定修改
----要在windows中存放一份hadoop的安裝包(解壓好的)
----要將其中的lib和bin目錄替換成根據你的windows版本重新編譯出的檔案
----再要配置系統環境變數 HADOOP_HOME  和 PATH
----修改YarnRunner這個類的原始碼