hadoop二次排序的原理和實現
預設情況下，Map輸出的結果會對Key進行預設的排序，但是有時候需要對Key排序的同時還需要對Value進行排序，這時候就要用到二次排序了。下面我們來說說二次排序
1、二次排序原理
我們把二次排序分為以下幾個階段
Map起始階段
在Map階段，使用job.setInputFormatClass()定義的InputFormat，將輸入的資料集分割成小資料塊split，同時InputFormat提供一個RecordReader的實現。在這裡我們使用的是TextInputFormat，它提供的RecordReader會將文字的行號作為Key，這一行的文字作為Value。這就是自定 Mapper的輸入是<LongWritable,Text> 的原因。然後呼叫自定義Mapper的map方法，將一個個<LongWritable,Text>鍵值對輸入給Mapper的map方法
Map最後階段
在Map階段的最後，會先呼叫job.setPartitionerClass()對這個Mapper的輸出結果進行分割槽，每個分割槽對映到一個Reducer。每個分割槽內又呼叫job.setSortComparatorClass()設定的Key比較函式類排序。可以看到，這本身就是一個二次排序。如果沒有通過job.setSortComparatorClass()設定 Key比較函式類，則使用Key實現的compareTo()方法
Reduce階段
在Reduce階段，reduce()方法接受所有對映到這個Reduce的map輸出後，也會呼叫job.setSortComparatorClass()方法設定的Key比較函式類，對所有資料進行排序。然後開始構造一個Key對應的Value迭代器。這時就要用到分組，使用 job.setGroupingComparatorClass()方法設定分組函式類。只要這個比較器比較的兩個Key相同，它們就屬於同一組，它們的 Value放在一個Value迭代器，而這個迭代器的Key使用屬於同一個組的所有Key的第一個Key。最後就是進入Reducer的 reduce()方法，reduce()方法的輸入是所有的Key和它的Value迭代器，同樣注意輸入與輸出的型別必須與自定義的Reducer中宣告的一致
接下來我們通過示例，可以很直觀的瞭解二次排序的原理
輸入檔案 sort.txt 內容為
40 20
40 10
40 30
40 5
30 30
30 20
30 10
30 40
50 20
50 50
50 10
50 60
輸出檔案的內容（從小到大排序）如下
30 10
30 20
30 30
30 40
--------
40 5
40 10
40 20
40 30
--------
50 10
50 20
50 50
50 60
從輸出的結果可以看出Key實現了從小到大的排序，同時相同Key的Value也實現了從小到大的排序，這就是二次排序的結果
2、二次排序的具體流程
在本例中要比較兩次。先按照第一欄位排序，然後再對第一欄位相同的按照第二欄位排序。根據這一點，我們可以構造一個複合類IntPair ，它有兩個欄位，先利用分割槽對第一欄位排序，再利用分割槽內的比較對第二欄位排序。二次排序的流程分為以下幾步。
在本例中要比較兩次。先按照第一欄位排序，然後再對第一欄位相同的按照第二欄位排序。根據這一點，我們可以構造一個複合類IntPair ，它有兩個欄位，先利用分割槽對第一欄位排序，再利用分割槽內的比較對第二欄位排序。二次排序的流程分為以下幾步。
1、自定義 key
所有自定義的key應該實現介面WritableComparable，因為它是可序列化的並且可比較的。WritableComparable 的內部方法如下所示
// 反序列化，從流中的二進位制轉換成IntPair public void readFields(DataInput in) throws IOException // 序列化，將IntPair轉化成使用流傳送的二進位制 public void write(DataOutput out) // key的比較 public int compareTo(IntPair o) // 預設的分割槽類 HashPartitioner，使用此方法 public int hashCode() // 預設實現 public boolean equals(Object right)
2、自定義分割槽
自定義分割槽函式類FirstPartitioner，是key的第一次比較，完成對所有key的排序。
public static class FirstPartitioner extends Partitioner< IntPair,IntWritable>
在job中使用setPartitionerClasss()方法設定Partitioner
job.setPartitionerClasss(FirstPartitioner.Class);
3、Key的比較類
這是Key的第二次比較，對所有的Key進行排序，即同時完成IntPair中的first和second排序。該類是一個比較器，可以通過兩種方式實現。
1) 繼承WritableComparator。
public static class KeyComparator extends WritableComparator
必須有一個建構函式，並且過載以下方法。
public int compare(WritableComparable w1, WritableComparable w2)
2) 實現介面 RawComparator。
上面兩種實現方式，在Job中，可以通過setSortComparatorClass()方法來設定Key的比較類。
job.setSortComparatorClass(KeyComparator.Class);
注意：如果沒有使用自定義的SortComparator類，則預設使用Key中compareTo()方法對Key排序。
4、定義分組類函式
在Reduce階段，構造一個與 Key 相對應的 Value 迭代器的時候，只要first相同就屬於同一個組，放在一個Value迭代器。定義這個比較器，可以有兩種方式。
1) 繼承 WritableComparator。
public static class GroupingComparator extends WritableComparator
必須有一個建構函式，並且過載以下方法。
public int compare(WritableComparable w1, WritableComparable w2)
2) 實現介面 RawComparator。
上面兩種實現方式，在 Job 中，可以通過 setGroupingComparatorClass()方法來設定分組類。
job.setGroupingComparatorClass(GroupingComparator.Class);
另外注意的是，如果reduce的輸入與輸出不是同一種類型，則 Combiner和Reducer 不能共用 Reducer 類，因為 Combiner 的輸出是 reduce 的輸入。除非重新定義一個Combiner。
3、程式碼實現
Hadoop的example包中自帶了一個MapReduce的二次排序演算法，下面對 example包中的二次排序進行改進
package com.buaa;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.WritableComparable;
/**
* @ProjectName SecondarySort
* @PackageName com.buaa
* @ClassName IntPair
* @Description 將示例資料中的key/value封裝成一個整體作為Key，同時實現 WritableComparable介面並重寫其方法
* @Author 劉吉超
* @Date 2016-06-07 22:31:53
*/
public class IntPair implements WritableComparable<IntPair>{
private int first;
private int second;
public IntPair(){
}
public IntPair(int left, int right){
set(left, right);
}
public void set(int left, int right){
first = left;
second = right;
}
@Override
public void readFields(DataInput in) throws IOException{
first = in.readInt();
second = in.readInt();
}
@Override
public void write(DataOutput out) throws IOException{
out.writeInt(first);
out.writeInt(second);
}
@Override
public int compareTo(IntPair o)
{
if (first != o.first){
return first < o.first ? -1 : 1;
}else if (second != o.second){
return second < o.second ? -1 : 1;
}else{
return 0;
}
}
@Override
public int hashCode(){
return first * 157 + second;
}
@Override
public boolean equals(Object right){
if (right == null)
return false;
if (this == right)
return true;
if (right instanceof IntPair){
IntPair r = (IntPair) right;
return r.first == first && r.second == second;
}else{
return false;
}
}
public int getFirst(){
return first;
}
public int getSecond(){
return second;
}
}
package com.buaa;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
/**
* @ProjectName SecondarySort
* @PackageName com.buaa
* @ClassName SecondarySort
* @Description TODO
* @Author 劉吉超
* @Date 2016-06-07 22:40:37
*/
@SuppressWarnings("deprecation")
public class SecondarySort {
public static class Map extends Mapper<LongWritable, Text, IntPair, IntWritable> {
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
int left = 0;
int right = 0;
if (tokenizer.hasMoreTokens()) {
left = Integer.parseInt(tokenizer.nextToken());
if (tokenizer.hasMoreTokens())
right = Integer.parseInt(tokenizer.nextToken());
context.write(new IntPair(left, right), new IntWritable(right));
}
}
}
/*
* 自定義分割槽函式類FirstPartitioner，根據 IntPair中的first實現分割槽
*/
public static class FirstPartitioner extends Partitioner<IntPair, IntWritable>{
@Override
public int getPartition(IntPair key, IntWritable value,int numPartitions){
return Math.abs(key.getFirst() * 127) % numPartitions;
}
}
/*
* 自定義GroupingComparator類，實現分割槽內的資料分組
*/
@SuppressWarnings("rawtypes")
public static class GroupingComparator extends WritableComparator{
protected GroupingComparator(){
super(IntPair.class, true);
}
@Override
public int compare(WritableComparable w1, WritableComparable w2){
IntPair ip1 = (IntPair) w1;
IntPair ip2 = (IntPair) w2;
int l = ip1.getFirst();
int r = ip2.getFirst();
return l == r ? 0 : (l < r ? -1 : 1);
}
}
public static class Reduce extends Reducer<IntPair, IntWritable, Text, IntWritable> {
public void reduce(IntPair key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
for (IntWritable val : values) {
context.write(new Text(Integer.toString(key.getFirst())), val);
}
}
}
public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
// 讀取配置檔案
Configuration conf = new Configuration();
// 判斷路徑是否存在，如果存在，則刪除
Path mypath = new Path(args[1]);
FileSystem hdfs = mypath.getFileSystem(conf);
if (hdfs.isDirectory(mypath)) {
hdfs.delete(mypath, true);
}
Job job = new Job(conf, "secondarysort");
// 設定主類
job.setJarByClass(SecondarySort.class);
// 輸入路徑
FileInputFormat.setInputPaths(job, new Path(args[0]));
// 輸出路徑
FileOutputFormat.setOutputPath(job, new Path(args[1]));
// Mapper
job.setMapperClass(Map.class);
// Reducer
job.setReducerClass(Reduce.class);
// 分割槽函式
job.setPartitionerClass(FirstPartitioner.class);
// 本示例並沒有自定義SortComparator，而是使用IntPair中compareTo方法進行排序 job.setSortComparatorClass();
// 分組函式
job.setGroupingComparatorClass(GroupingComparator.class);
// map輸出key型別
job.setMapOutputKeyClass(IntPair.class);
// map輸出value型別
job.setMapOutputValueClass(IntWritable.class);
// reduce輸出key型別
job.setOutputKeyClass(Text.class);
// reduce輸出value型別
job.setOutputValueClass(IntWritable.class);
// 輸入格式
job.setInputFormatClass(TextInputFormat.class);
// 輸出格式
job.setOutputFormatClass(TextOutputFormat.class);
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}