1. 實驗要求
2. 題目要求

1、用MapReduce演算法實現貝葉斯分類器的訓練過程，並輸出訓練模型；

2、用輸出的模型對測試集文件進行分類測試。測試過程可基於單機Java程式，也可以是MapReduce程式。輸出每個測試文件的分類結果；

3、利用測試文件的真實類別，計算分類模型的Precision，Recall和F1值。

2．實驗環境

實驗平臺：VMware Workstation10

虛擬機器系統：Suse11

叢集環境：主機名master  ip:192.168.226.129

從機名slave1  ip:192.168.226.130

2. 貝葉斯分類器理論介紹

貝葉斯分類器的分類原理是通過某物件的

先驗概率，利用貝葉斯公式計算出其後驗概率，即該物件屬於某一類的概率，選擇具有最大後驗概率的類作為該物件所屬的類。

應用貝葉斯分類器進行分類主要分成兩階段。第一階段是貝葉斯統計分類器的學習階段，即根據訓練資料集訓練得出訓練模型；第二階段是貝葉斯分類器的推理階段，即根據訓練模型計算，進行分類。

貝葉斯公式如下：

其中A、B分別為兩個不同的事件，P(A)是A的先驗概率，P(A|B)是已知B發生後A的條件概率，也由於得自B的取值而被稱作A的後驗概率。而上式就是用事件B的先驗概率來求它的後驗概率。

3. 貝葉斯分類器訓練的MapReduce演算法設計

3.1貝葉斯文字分類流程圖

3.2

貝葉斯文字分類詳細步驟

整個文件歸類過程可以分為以下步驟：

1. 測試資料打包。將訓練資料集中的大量小文字打包為SequencedFile（MapReduce程式）。
2. 文件統計以及單詞統計。將1中輸出的SequencedFile作為輸入，分別進行文件個數統計DocCount(MapReduce程式)和各個分類下單詞個數統計WordCount(MapReduce程式)。
3. 測試資料打包。將測試資料集中的大量小文字打包為SequcedFile（MapReduce程式）。
4. 文件歸類。將2中輸出的文件統計和單詞統計的結果，分別計算文件的先驗概率和單詞在各個分類下的條件概率，然後將3中輸出的SequencedFile
   作為輸入，計算測試文字屬於各個分類的概率，並選擇其中最大概率的分類作為該文件的所屬分類。

3.3具體演算法設計

一個Country有多個news.txt,一個news有多個word

我們所設計的演算法最後是要得到隨機抽取一個txt文件，它最有可能屬於哪個國家類別，也就是我們要得到它屬於哪個國家的概率最大，把它轉化為數學公式也就是：

         3-1

為了便於比較，我們將上式取對數得到：

       3-2

其中Num(Wi)表示該txt文件中單詞Wi的個數；P(C|Wi)表示拿出一個單詞Wi，其屬於國家C的後驗概率。根據貝葉斯公式有：P(C|W) = P(W|C)*P(C)/P(W)，其中：

P(W|C)：國家C的news中單詞W出現的概率，根據式3-2，不能使該概率為0，所以我們約定每個國家都至少包含每個單詞一次，也就是在統計單詞數量時，都自動的加1，就有：

     3-3

P(C)：國家C出現的概率（正比於其所含txt檔案數）；

P(W)：單詞W在整個測試集中出現的概率。

根據上面的貝葉斯公式我們設計的MapReduce演算法如下：

1. 按比例選取測試文件，其比例大致為國家包含文件數的相對比例；
2. Map操作：一一遍歷文件，得到<<C, Wi> , 1>
3. Reduce操作：

合併<<C, W> , 1>得到國家C中含有單詞Wi的個數<<C, Wi> , ni>（+1），記為N(C,Wi)；

由得到國家C中含有的單詞總數，記為N(C)；

由得到測試集中單詞W的總數，記為N(W)；

再由得到測試集的單詞總數，記為N。

則可求得P(W|C) = N(C,W)/N(C)；P(C) = N(C)/N；P(W) = N(W)/N。

3.4MapReduce的Data Flow示意圖

4. 原始碼清單

本實驗中的主要程式碼如下所示

4.1 SmallFilesToSequenceFileConverter.java     小檔案集合打包工具類MapReduce程式

4.2 WholeFileInputFormat.java     支援類：遞迴讀取指定目錄下的所有檔案

4.3 WholeFileRecordReader.java支援類：讀取單個檔案的全部內容

4.4 DocCount.java    文件統計MapReduce程式

4.5 WordCount.java  單詞統計MapReduce程式

4.6 DocClassification.java  測試文件分類MapReduce程式

詳細程式碼如下：

4.1 SmallFilesToSequenceFileConverter.java其中Map，Reduce關鍵程式碼如下：

publicclassSmallFilesToSequenceFileConverterextendsConfiguredimplementsTool {

staticclassSequenceFileMapperextendsMapper<NullWritable, BytesWritable, Text, BytesWritable> {

privateStringfileNameKey;//被打包的小檔名作為key，表示為Text物件

privateStringclassNameKey;//當前文件所在的分類名

@Override//重新實現setup方法，進行map任務的初始化設定

protectedvoidsetup(Contextcontext)throwsIOException, InterruptedException {

           InputSplitsplit=context.getInputSplit();//從context獲取split

           Pathpath= ((FileSplit)split).getPath();//從split獲取檔案路徑

fileNameKey=path.getName();//將檔案路徑例項化為key物件

classNameKey=path.getParent().getName();

       }

@Override//實現map方法

protectedvoidmap(NullWritablekey, BytesWritablevalue, Contextcontext)

throwsIOException, InterruptedException {

//注意sequencefile的key和value（key:分類,文件名  value:文件的內容）

context.write(newText(classNameKey+"/"+fileNameKey),value);

       }

    }

}

4.2 WholeFileInputFormat.java其中關鍵程式碼如下：

publicclassWholeFileInputFormatextendsFileInputFormat<NullWritable, BytesWritable> {

/**

     *<p>方法描述：遞迴遍歷輸入目錄下的所有檔案</p>

     *<p>備註：該寫FileInputFormat，使支援多層目錄的輸入</p>

     * @authormeifyDateTime 2015年11月3日下午2:37:49

     * @paramfs

     * @parampath

     */

voidsearch(FileSystemfs, Pathpath) {

try{

if(fs.isFile(path)) {

fileStatus.add(fs.getFileStatus(path));

           }elseif(fs.isDirectory(path)) {

              FileStatus[]fileStatus=fs.listStatus(path);

for(inti= 0;i<fileStatus.length;i++) {

                  FileStatusfileStatu=fileStatus[i];

                  search(fs,fileStatu.getPath());

相關推薦