mapreduce一般是由map和reduce分工合作來完成任務，但有時map分割槽之後資料不一致導致資料傾斜，某一個reduce任務負載過大，執行速度減慢。本案例以map代替reduce的工作來解決資料傾斜問題。

原始碼如下：

package MR_mapside_join; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.net.URI; import java.util.HashMap; import java.util.Map; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class mapSideJoin { static class MapSideJoinMapper extends Mapper<longwritable text="" text="" nullwritable="">{ //設定初始化資訊 Map<string string=""> prodect = new HashMap<string string="">(); Text k = new Text(); @Override protected void setup(Context context) throws IOException, InterruptedException { BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream("name.txt"))); String line; while(StringUtils.isNotEmpty(line = reader.readLine())){ String[] word = line.split("\t"); prodect.put(word[0],word[1]); } reader.close(); } @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String info = value.toString(); String[] detail = info.split("\t"); String name = prodect.get(detail[1]); k.set(info+"\t"+name); context.write(k, NullWritable.get()); } } public static void main(String[] args) throws Exception { //載入配置資訊 Configuration conf = new Configuration(); Job job = Job.getInstance(conf); //設定jar包所在的路徑 job.setJarByClass(mapSideJoin.class); //給job指定mapper類 job.setMapperClass(MapSideJoinMapper.class); //給job指定輸出的k、v型別 job.setOutputKeyClass(Text.class); job.setOutputValueClass(NullWritable.class); //設定輸入路徑 FileInputFormat.setInputPaths(job, new Path(args[0])); //設定輸出路徑 FileOutputFormat.setOutputPath(job, new Path(args[1])); //指定需要一個快取檔案的到所有maptask節點執行目錄 job.addCacheFile(new URI("/info/name.txt")); //設定reduce數目為0 job.setNumReduceTasks(0); //跑完結束 System.exit(job.waitForCompletion(true)?0:1); } } </string></string></longwritable>

輸入，輸出執行結果如下

輸入檔案：

這裡我的centos系統不知道發什麼神經orange這一行資料一直顯示亂碼，修改了多此也沒修改成功，但是大家懂我什麼意思就好了，不用糾結

結果：

好了，map運算得出結果了。

dsa