文章基於widows環境下的idea,hadoop版本2.7.2，案例來源於《Hadoop:The Definitive Guide》第二章，需要統計美國自1901年以來每一年的最高氣溫，資料檔案見百度盤 https://pan.baidu.com/s/1gfoZkUf

1、配置maven

略

2、解讀（簡版，詳見book)

a.資料解讀

    從資料格式中可以看到每一行(15,19)是年份資訊，而(87,92)儲存的是溫度，(92,93)儲存的是天氣的質量資訊，我們需要提取出年份和溫度資訊。

b.map階段

    在map階段只是一個準備資料的過程，提取年份和溫度形成鍵值對輸出給reduce階段；並且在這個過程中篩掉缺失和錯誤的資料。
 

    map結果提取出每一行對應的年份和溫度資訊。

c.reduce階段

    map函式的輸出經過MapReduce框架處理後，最後傳送到reduce函式，這個過程基於鍵來對鍵值對進行進行排序和分組，因此，reduce函式看到的是如下輸入：

每一年緊接著一系列氣溫資料，reduce要做的工作就是遍歷整個列表並找出最大的數值。

3、code

a.map階段—獲取每一年的溫度，以（key,value)鍵值對儲存

package mkd.hadoop.mr;
import org.apache.hadoop.io.IntWritable;
import
 
 org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

/**
 * Created by MKD on 2017/7/12.
 * map階段
 */
public class MyMaxTempMapper extends Mapper<LongWritable,Text,Text,IntWritable>{
    private static final int MISSING = 9999
 
;
    @Override
    public void map(LongWritable key,Text value,Context context)
        throws IOException,InterruptedException{
        String line = value.toString();//將每一行資料轉化成String
        String year = line.substring(15,19);//獲取年份資料
        int airTemperature;
        //提取氣溫 + / -
        if(line.charAt(87) == '+'){
            airTemperature = Integer.parseInt(line.substring(88,92));//將string轉化成int
        }else{
            airTemperature = Integer.parseInt(line.substring(87,92));
        }
        //質量
        String quality = line.substring(92,93);
        //判斷氣溫有效性
        if(airTemperature != MISSING && quality.matches("[01459]")){
            context.write(new Text(year),new IntWritable(airTemperature));
        }
    }
}

b.reduce階段—找出每一年最大溫度

package mkd.hadoop.mr;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

/**
 * Created by MKD on 2017/7/12.
 * reduce階段
 */
public class MyMaxTemperReducer extends Reducer<Text,IntWritable,Text,IntWritable>{
    @Override
    public void reduce(Text key,Iterable<IntWritable> values,Context context)
        throws IOException,InterruptedException{
        int maxValue = Integer.MIN_VALUE;
        for(IntWritable value:values){//獲取最大溫度
            maxValue = Math.max(maxValue,value.get());
        }
        context.write(key,new IntWritable(maxValue));
    }
}

c.MapReduceJob

package mkd.hadoop.mr;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * Created by MKD on 2017/7/12.
 * mapreduce APP
 */
public class MyMaxTemputer {
    public static void main(String[] args) throws Exception{
        if(args.length != 2){
            System.err.println("Usage:MaxTemperture <input path> <output path>");
            System.exit(-1);
        }
        Job job = Job.getInstance();
        job.setJarByClass(MyMaxTemputer.class);
        job.setJobName("MyMaxTemputer");//設定作業名稱

        FileInputFormat.addInputPath(job,new Path(args[0]));//輸入路徑
        FileOutputFormat.setOutputPath(job,new Path(args[1]));//輸出路徑

        job.setMapperClass(MyMaxTempMapper.class);//設定mapper型別
        job.setReducerClass(MyMaxTemperReducer.class);//設定reduce型別

        job.setOutputKeyClass(Text.class);//設定輸出key型別
        job.setOutputValueClass(IntWritable.class);//設定輸出value型別

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

4、設定輸入輸出

    上面是輸入路徑，下面是輸出路徑（輸出目錄一定要不存在！！！！，否則報錯）

5、執行APP

    然後在輸出路徑下可以看到如下檔案，_SUCCESS表示執行成功，我們開啟part-r-0000檔案可以檢視結果