1. 程式人生 > >MapReduce中Job的幾種執行模式

MapReduce中Job的幾種執行模式

MapReduce中job的幾種執行模式1、在eclipse中開發好mr程式(windows或linux下都可以),然後打成jar包(wc.jar),上傳到伺服器 執行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 這種方式會將這個job提交到yarn叢集上去執行2、在Linux的eclipse中直接啟動Runner類的main方法,這種方式可以使job執行在本地,也可以執行在yarn叢集 ----究竟執行在本地還是在叢集,取決於一個配置引數 mapreduce.framework.name == yarn (local) ----如果確實需要在eclipse中提交到yarn執行,必須做好以下兩個設定 a/將mr工程打成jar包(wc.jar),放在工程目錄下 b/在工程的main方法中,加入一個配置引數 conf.set("mapreduce.job.jar","wc.jar");3、在windows的eclipse中執行本地模式,步驟為: ----a、在windows中找一個地方放一份hadoop的安裝包,並且將其bin目錄配到環境變數中 ----b、根據windows平臺的版本(32?64?win7?win8?),替換掉hadoop安裝包中的本地庫(bin,lib) ----c、mr程式的工程中不要有引數mapreduce.framework.name的設定4、在windows的eclipse中執行main方法來提交job到叢集執行,比較麻煩 ----a、類似於方式3中所描述的對本地庫相容性進行改造 ----b、修改YarnRunner這個類