開發環境

硬體環境：Centos 6.5 伺服器4臺（一臺為Master節點，三臺為Slave節點）
軟體環境：Java 1.7.0_45、hadoop-1.2.1

1、倒排索引

倒排索引是文件檢索系統中最常用的資料結構，被廣泛用於全文搜尋引擎。它主要是用來儲存某個單詞（或片語）在一個文件或一組文件的儲存位置的對映，即提供了一種根據內容來查詢文件的方式。由於不是根據文件來確定文件所包含的內容，而是進行了相反的操作（根據關鍵字來查詢文件），因而稱為倒排索引（Inverted Index）。通常情況下，倒排索引由一個單詞（片語）以及相關的文件列表（標示文件的ID號，或者是指定文件所在位置的URI）組成，如下圖所示：

從上圖可以看出，單詞1出現在{文件1、文件4、文件13、……}中，單詞2出現在{文件3、文件5、文件15、…..}中，而單詞3出現在{文件1、文件8、文件20、….}中，還需要給每個文件新增一個權值，用來指出每個文件與搜素內容相關的相關度，如下圖所示：

最常用的是使用詞頻作為權重，即記錄單詞在文件中出現的次數了。以英文為例，如下圖所示，索引檔案中的“MapReduce”一行表示：“MapReduce”這個單詞在文字T0中出現過1次，T1中出現過1次，T2中出現過2次。當搜尋條件為“MapReduce”、“is”、“simple”時，對應的集合為：{T0，T1，T2}∩{ T0，T1}∩{ T0，T1}={ T0，T1}，即文字T0和T1包含所要索引的單詞，而且只有T0是連續的。

2、Map過程

首先使用預設的TextInputFormat類對輸入檔案進行處理，得到文字中每行的偏移量及其內容。顯然，Map過程首先必須分析輸入的< key，value>對，得到倒排索引中需要的三個資訊：單詞、文件URI和詞頻，如下圖所示。這裡存在兩個問題：第一，< key,value>對只能有兩個值，在不使用Hadoop自定義資料型別的情況下，需要根據情況將其中兩個值合併成一個值，作為key或value值；第二，通過一個Reduce過程無法同時完成詞頻統計和文件列表，所以必須增加一個Combine過程完成詞頻統計。

這裡將單詞和URI組成Key值（如“MapReduce :1.txt”），將詞頻作為value，這樣做的好處是可以利用MapReduce框架自帶的Map端排序，將同一文件的相同單詞的詞頻組成列表，傳遞給Combine過程，實現類似於WordCount的功能。
Map過程核心程式碼實現如下，詳細原始碼請參考：InvertedIndex\src\com\zonesion\hdfs\InvertedIndex.java。

public static class InvertedIndexMapper extends 
    Mapper<Object,Text,Object,Text>{
    private Text keyInfo = new Text();//儲存單詞和URI的組合
    private  Text valueInfo = new Text();//儲存詞頻
    private FileSplit split;//儲存Split物件
    @Override
    public void map(Object key, Text value, Context context)
            throws IOException, InterruptedException {
        split = (FileSplit)context.getInputSplit();
        StringTokenizer itr = new StringTokenizer(value.toString());
        while(itr.hasMoreTokens()){
            //key值由單詞和URI組成
            keyInfo.set(itr.nextToken()+":"+split.getPath().toString());
            valueInfo.set("1");
            context.write(keyInfo, valueInfo);//輸出：<key,value>---<"MapReduce:1.txt",1>
        }
    }
}

3、Combine過程

經過map方法處理之後，Combine過程將key值相同的value值累加，得到一個單詞在文件中的詞頻，如下圖所示。如果直接將Map的輸出結果作為Reduce過程的輸入，在Shuffle過程時將面臨一個問題：所有具有相同單詞的記錄（由單詞、URI和詞頻組成）應該交由同一個Reduce處理，但當前key值無法保證這一點，所以必須修改key值和value值。這次將單詞作為key值，URI和詞頻作為value值。這樣做的好處是可以利用MapReduce框架預設的HashPartitioner類完成Shuffle過程，將相同單詞的所有記錄傳送給同一個Reducer處理。

Combine過程核心程式碼實現如下，詳細原始碼請參考：InvertedIndex\src\com\zonesion\hdfs\InvertedIndex.java。

public static class InvertedIndexCombiner 
    extends Reducer<Text, Text, Text, Text>{
    private Text info = new Text();
    @Override
    protected void reduce(Text key, Iterable<Text> values,Context context)
            throws IOException, InterruptedException {
        //輸入：<key,value>---<"MapReduce:1.txt",list(1,1,1,1)>
        int sum = 0;
        for(Text value : values){
            sum += Integer.parseInt(value.toString());
        }
        int splitIndex = key.toString().indexOf(":");
        info.set(key.toString().substring(splitIndex+1)+":"+sum);
        key.set(key.toString().substring(0,splitIndex));
        context.write(key, info);//輸出:<key,value>----<"Mapreduce","0.txt:2">
    }
}

4、Reduce過程

經過上述兩個過程後，Reduce過程只需要將相同key值的value值組合成倒排索引檔案所需的格式即可，剩下的事情就可以直接交給MapReduce框架處理了，如下圖所示。

Reduce過程核心程式碼實現如下，詳細原始碼請參考：InvertedIndex\src\com\zonesion\hdfs\InvertedIndex.java。

public static class InvertedIndexReducer 
    extends Reducer<Text, Text, Text, Text>{
    private Text result = new Text();
    @Override
    protected void reduce(Text key, Iterable<Text> values,Context context)
            throws IOException, InterruptedException {
        //輸入：<"MapReduce",list("0.txt:1","1.txt:1","2.txt:1")>
        String fileList = new String();
        for(Text value : values){//value="0.txt:1"
            fileList += value.toString()+";";
        }
        result.set(fileList);
        context.write(key, result);//輸出：<"MapReduce","0.txt:1,1.txt:1,2.txt:1">
    }
}

5、驅動實現

驅動核心程式碼實現如下，詳細原始碼請參考：InvertedIndex\src\com\zonesion\hdfs\InvertedIndex.java。

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if (otherArgs.length != 2) {
      System.err.println("Usage: InvertedIndex <in> <out>");
      System.exit(2);
    }
    Job job = new Job(conf, "InvertedIndex");
    job.setJarByClass(InvertedIndex.class);
    //設定Mapper類、Combiner類、Reducer類；
    job.setMapperClass(InvertedIndexMapper.class);
    job.setCombinerClass(InvertedIndexCombiner.class);
    job.setReducerClass(InvertedIndexReducer.class);
    //設定了Map過程和Reduce過程的輸出型別，設定key、value的輸出型別為Text；
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);
    //設定任務資料的輸入、輸出路徑；
    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
    //執行job任務，執行成功後退出；
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

6、部署執行

1）啟動Hadoop叢集

[[email protected] CompanyJoinAddress]$ start-dfs.sh
[hado[email protected] CompanyJoinAddress]$ start-mapred.sh
[[email protected] CompanyJoinAddress]$ jps
5283 SecondaryNameNode
5445 JobTracker
5578 Jps
5109 NameNode

2）部署原始碼

#設定工作環境
[[email protected] ~]$ mkdir -p /usr/hadoop/workspace/MapReduce
#部署原始碼
將InvertedIndex資料夾拷貝到/usr/hadoop/workspace/MapReduce/ 路徑下；

3）編譯檔案

#切換工作目錄
[[email protected] ~]$ cd /usr/hadoop/workspace/MapReduce/InvertedIndex
#編譯檔案
[[email protected] InvertedIndex]$ javac -classpath /usr/hadoop/hadoop-core-1.2.1.jar:/usr/hadoop/lib/commons-cli-1.2.jar -d bin src/com/zonesion/hdfs/InvertedIndex.java
[[email protected] InvertedIndex]$ ls bin/com/zonesion/hdfs/ -la
總用量 20
drwxrwxr-x 2 hadoop hadoop 4096 9月  18 17:09 .
drwxrwxr-x 3 hadoop hadoop   17 9月  18 17:09 ..
-rw-rw-r-- 1 hadoop hadoop 1982 9月  18 17:09 InvertedIndex.class
-rw-rw-r-- 1 hadoop hadoop 2173 9月  18 17:09 InvertedIndex$InvertedIndexCombiner.class
-rw-rw-r-- 1 hadoop hadoop 2103 9月  18 17:09 InvertedIndex$InvertedIndexMapper.class
-rw-rw-r-- 1 hadoop hadoop 1931 9月  18 17:09 InvertedIndex$InvertedIndexReducer.class

4）打包jar檔案

[[email protected] InvertedIndex]$ jar -cvf InvertedIndex.jar -C bin/ .
已新增清單
正在新增: com/(輸入 = 0) (輸出 = 0)(儲存了 0%)
正在新增: com/zonesion/(輸入 = 0) (輸出 = 0)(儲存了 0%)
正在新增: com/zonesion/hdfs/(輸入 = 0) (輸出 = 0)(儲存了 0%)
正在新增: com/zonesion/hdfs/InvertedIndex$InvertedIndexMapper.class(輸入 = 2103) (輸出 = 921)(壓縮了 56%)
正在新增: com/zonesion/hdfs/InvertedIndex$InvertedIndexCombiner.class(輸入 = 2173) (輸出 = 944)(壓縮了 56%)
正在新增: com/zonesion/hdfs/InvertedIndex$InvertedIndexReducer.class(輸入 = 1931) (輸出 = 830)(壓縮了 57%)
正在新增: com/zonesion/hdfs/InvertedIndex.class(輸入 = 1982) (輸出 = 1002)(壓縮了 49%)

5）上傳輸入檔案

#建立InvertedIndex/input/輸入資料夾
[[email protected] InvertedIndex]$ hadoop fs -mkdir InvertedIndex/input/
#上傳檔案到InvertedIndex/input/輸入資料夾
[[email protected] InvertedIndex]$ hadoop fs -put input/*.txt /user/hadoop/InvertedIndex/input
#驗證上傳檔案是否成功
[[email protected] InvertedIndex]$ hadoop fs -ls /user/hadoop/InvertedIndex/input
Found 3 items
-rw-r--r--   1 hadoop supergroup 20 2014-09-18 17:12 /user/hadoop/InvertedIndex/input/0.txt
-rw-r--r--   1 hadoop supergroup 32 2014-09-18 17:12 /user/hadoop/InvertedIndex/input/1.txt
-rw-r--r--   1 hadoop supergroup 30 2014-09-18 17:12 /user/hadoop/InvertedIndex/input/2.txt

6）執行Jar檔案

[[email protected] InvertedIndex]$ hadoop jar InvertedIndex.jar com.zonesion.hdfs.InvertedIndex InvertedIndex/input InvertedIndex/output
14/09/18 17:16:40 INFO input.FileInputFormat: Total input paths to process : 3
14/09/18 17:16:40 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/09/18 17:16:40 WARN snappy.LoadSnappy: Snappy native library not loaded
14/09/18 17:16:41 INFO mapred.JobClient: Running job: job_201409150922_0003
14/09/18 17:16:42 INFO mapred.JobClient:  map 0% reduce 0%
14/09/18 17:16:45 INFO mapred.JobClient:  map 100% reduce 0%
14/09/18 17:16:51 INFO mapred.JobClient:  map 100% reduce 33%
14/09/18 17:16:53 INFO mapred.JobClient:  map 100% reduce 100%
14/09/18 17:16:53 INFO mapred.JobClient: Job complete: job_201409150922_0003
14/09/18 17:16:53 INFO mapred.JobClient: Counters: 29
......

7）檢視輸出結果

#檢視HDFS上output目錄內容
[[email protected] InvertedIndex]$ hadoop fs -ls /user/hadoop/InvertedIndex/output
Found 3 items
-rw-r--r--   1 hadoop supergroup  0 2014-07-21 15:31 /user/hadoop/InvertedIndex/output/_SUCCESS
drwxr-xr-x   - hadoop supergroup  0 2014-07-21 15:30 /user/hadoop/InvertedIndex/output/_logs
-rw-r--r--   1 hadoop supergroup665 2014-07-21 15:31 /user/hadoop/InvertedIndex/output/part-r-00000
#檢視結果輸出檔案內容
[[email protected] InvertedIndex]$ hadoop fs -cat /user/hadoop/InvertedIndex/output/part-r-00000
Hello           hdfs://Master:9000/user/hadoop/InvertedIndex/input/2.txt:1;
MapReduce   hdfs://Master:9000/user/hadoop/InvertedIndex/input/2.txt:2;hdfs://Master:9000/user/hadoop/InvertedIndex/input/1.txt:1;hdfs://Master:9000/user/hadoop/InvertedIndex/input/0.txt:1;
Powerful    hdfs://Master:9000/user/hadoop/InvertedIndex/input/1.txt:1;
bye         hdfs://Master:9000/user/hadoop/InvertedIndex/input/2.txt:1;
is          hdfs://Master:9000/user/hadoop/InvertedIndex/input/0.txt:1;hdfs://Master:9000/user/hadoop/InvertedIndex/input/1.txt:2;
simple      hdfs://Master:9000/user/hadoop/InvertedIndex/input/1.txt:1;hdfs://Master:9000/user/hadoop/InvertedIndex/input/0.txt:1;

您可能喜歡