2. 程式人生 > >利用spark做文字分類（樸素貝葉斯模型）

利用spark做文字分類（樸素貝葉斯模型）

阿新 • • 發佈：2019-01-09

樸素貝葉斯模型

樸素貝葉斯法是基於貝葉斯定理與特徵條件獨立假設的分類方法。對於給定的訓練資料集，首先基於特徵條件獨立假設學習輸入/輸出的聯合概率分佈；然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出y。至於樸素貝葉斯模型的原理部分，這裡就不講啦，有疑惑的朋友，我推薦看李航的《統計學習方法》中的第四章。我在這裡主要談論的是基於Java版的spark貝葉斯模型。

應用場景

相對於LR，SVM這類二元分類模型，貝葉斯模型在多元分類模型中顯得更有優勢的。舉一個場景，我們希望能通過使用者搜尋的關鍵詞來判斷使用者的興趣愛好。例如使用者搜尋的關鍵詞是“萌寵 貓狗”，我們通過貝葉斯模型分析出使用者原來對動物是感興趣的。

實現的過程

1.確定分類類別與訓練樣本及其特徵
假設確定有以下的類別以及部分的特徵詞：

健康養生：健康養生/預防疾病/健康養生專家/膳食營養/休閒養生/健康資訊/休閒與養生
軍事歷史：軍事歷史/武器/坦克/軍委主席/人類精神文明/特務/突擊隊/八路軍/四代機/
電影：電影/電影資料庫/愛情片/鷹眼/劉亦菲/葛優/動作/影片推薦/驚悚/日韓電影/港臺電影/
教育：教育/英語教師/華圖教育/作文/公務員培訓/211/掛科/雅思/地理/申論/高校廣播/
旅遊：旅遊/旅行遊記/遊記/觀光/爸媽遊/旅行愛好者/旅行是找尋自我/國內遊/
音樂:/Kugou/鋼琴/音樂/網路流行/古箏/Urban/音樂人/翻唱/酷狗/蝦米音樂/
攝影：攝影/時尚攝影/時裝攝影/Photography/攝影師/專題攝影/攝影/相簿/相機/索尼/尼康
萌寵：萌寵/萌寵物/可愛寵物/寵物用品/貓貓狗狗寵物控/貓控/食肉動物/貓咪/喵星人/寵物用品商城/

實際中的專案有25個類別，我將其置於不同的檔案中，每個類別大概有500個特徵詞
這裡寫圖片描述

2.獲取標籤特徵詞

List<String> vocabulary = new ArrayList<String>();
        File dir = new File("/home/quincy1994/文件/微脈圈/tags/類別庫");
        File[] files = dir.listFiles(); //獲取不同類別的標籤檔案
        StringBuilder sb = new StringBuilder();
        for(File file : files){
            BufferedReader br = new
 
 BufferedReader(new FileReader(file));
            String line = null;
            while((line = br.readLine()) != null){
                sb.append(line + "`");  //按“`"分割不同類別的標籤
            }
        }
         String[] tags = sb.toString().trim().split("`");
         List<String> newTags = new ArrayList<String>();
         for(String tag: tags){
             if(tag.length() > 4){
                 newTags.add(tag);  //去除空行標籤
             }
         }
         Object[] newtags =  newTags.toArray();
         List<Tuple2<Integer, String>> list = new ArrayList<Tuple2<Integer,String>>(); //記錄每類中的標籤
         for(int i=0; i<newtags.length;i++){
             Tuple2 <Integer, String> classWithTags = new Tuple2<Integer, String>(i, (String)newtags[i]); 
             System.out.println(classWithTags);
             list.add(classWithTags);
             String[] tokens = ((String)newtags[i]).split("/");
             for(String tag: tokens){
                 vocabulary.add(tag);
             }
         }

3.獲取訓練樣本
在獲得訓練樣本的過程中，由於特徵維度是上萬維。如果為每個樣本都申請上萬維的向量空間，會導致jvm記憶體不足。為了解決這樣的問題。我將訓練樣本轉變為libsvm檔案，而mllib支援libsvm檔案的操作。libsvm格式檔案為：【label】(空格)【index1】:【value1】(空格)【index2】:【value2】…..
其中【label】是訓練資料集的目標值，對於分類，它是標識某類的整數（支援多個類）；對於迴歸，是任意的實數。【index】是以1開始的整數，可以是不連續的；【value】為實數，也就是我們常說的自變數。檢驗資料檔案中的label只用於計算準確度或誤差，如果它是未知的，只需用一個數填寫這一欄，也可以空看不填。具體的樣例如下：

+1 1:0.7 2:1 3:1 4:-0.32
-1 1:0.58 2:-1 3:0.33 4:-0.6

 //獲取訓練樣本
     JavaPairRDD<Integer, String> trainRDD = sc.parallelizePairs(list); //將每類的標籤詞轉化為RDD
     JavaPairRDD<Integer, String> trainSetRDD = trainRDD.mapValues(new ToTrainSet(vocabulary)); //將標籤詞轉化為向量模型
     List<Tuple2<Integer, String>> trainSet = trainSetRDD.collect(); 
     writeTrainSet(trainSet);  //寫成libsvm檔案格式，以方便訓練
     System.out.println("trainset is ok");

static class ToTrainSet implements Function<String, String>{
        List<String> vocabulary = null; //標籤特徵庫
        public ToTrainSet(List<String> vocabulary){
            this.vocabulary = vocabulary;
        }
        public String call(String sentence) throws Exception {
            // TODO Auto-generated method stub
            int length = vocabulary.size();         //特徵維度
            String[] tags = sentence.split("/");    
            List<Integer> tagsindex = new ArrayList<Integer>();
            for(int i =0; i<tags.length; i++){
                tagsindex.add(vocabulary.indexOf(tags[i]));
            }
            String vector = "";  //將特徵向量轉變為String類，節省空間
            for(int i = 0 ; i < length; i++){
                if(tagsindex.contains(i)){
                    vector += String.valueOf(1) + " ";
                }
                else{
                    vector += String.valueOf(0) + " ";
                }
            }
            return vector.trim();
        }
    }

    public static void  writeTrainSet( List<Tuple2<Integer, String>> list) throws Exception{
        File file = new File("./trainset");
        PrintWriter pr = new PrintWriter(new FileWriter(file));
        for(Tuple2<Integer, String> one : list){     //將每個訓練樣本以libsvm格式儲存到trainset檔案當中
            String label = String.valueOf(one._1);   //訓練樣本的類別屬性
            String vector = one._2();  //訓練樣本的向量模型
            String[] indexes = vector.split(" ");
            pr.print(label + " ");
            String value = "";
            for(int i = 0; i<indexes.length;i++){
                value += (i+1) + ":" + indexes[i] + " ";   // i+1是因為libsvm檔案的index是從1開始
            }
            pr.print(value.trim());
            pr.println();
        }
        pr.close();
    }

4.讀取訓練集並訓練模型

 String path = "./trainset";
     JavaRDD<LabeledPoint> trainData = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();
     model = NaiveBayes.train(trainData.rdd(), 1.0); 
//   model.save(sc.sc(), "./model");
     System.out.println("model is ok");

5.預測新的測試集

 String testStr = "萌寵 貓狗 ";
     double[] testArray = sentenceToArrays(vocabulary, testStr);
     writeTestSet(testArray);
     String testPath = "./testset";
     JavaRDD<LabeledPoint> testData = MLUtils.loadLibSVMFile(sc.sc(), testPath).toJavaRDD();

    public static void writeTestSet(double[] testArray) throws Exception {
        //和writeTrainSet一樣
        File file = new File("./testset");
        PrintWriter pr = new PrintWriter(new FileWriter(file));
        pr.print("0" + " ");
        String value = "";
        for(int i=0; i<testArray.length; i++){
            value += (i+1) + ":" + testArray[i] + " ";
        }
        pr.print(value.trim());
        pr.close();
    }

6.多元分類預測

JavaRDD<double[]> resultData = testData.map(new GetProbabilities());
     List<double[]> result = resultData.collect(); //儲存的是每個測試樣本所屬於不同類別的概率值
     for(double[] one: result){
         for(int i=0;i<one.length;i++){
             System.out.println("class "+ i + ":" + one[i]);
         }
     }

最終的結果如下：

class 0:0.032182006265154946
class 1:0.0336352243495811
class 2:0.03491449856708539
class 3:0.033205199987016924
class 4:0.034989082254391006
class 5:0.0331936923801072
class 6:0.03519542406951625
class 7:0.14276183106876328（萌寵類最高）
class 8:0.035138968378985495
class 9:0.0320506177571864
class 10:0.034970413943529836
class 11:0.033309038283581525
class 12:0.033930527800123976
class 13:0.03278336996884944
class 14:0.035473397978207644
class 15:0.034846339484132204
class 16:0.0355179245862518
class 17:0.03428401522003527
class 18:0.03556253508239065
class 19:0.03555615701038051
class 20:0.03377058314903299
class 21:0.035026463749860785
class 22:0.03428401522003527
class 23:0.03418761030403304
class 24:0.03456346204880003
class 25:0.0346676010929670

相關推薦

利用spark做文字分類（樸素貝葉斯模型）

樸素貝葉斯模型 樸素貝葉斯法是基於貝葉斯定理與特徵條件獨立假設的分類方法。對於給定的訓練資料集，首先基於特徵條件獨立假設學習輸入/輸出的聯合概率分佈；然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出y。至於樸素貝葉斯模型的原理部分，這裡就不

【Kaggle筆記】新聞文字分類（樸素貝葉斯）

樸素貝葉斯模型適用場景 海量文字分類任務 假設資料特徵與目標之間存線上性關係 資料集 sklearn 中的 fetch_20newsgroups 程式碼 # -*- c

Scikit-Learn機器學習之監督學習模型案例集-新聞/郵件文字內容分類（樸素貝葉斯演算法模型）

最簡單的辦法 下載'20news-bydate.pkz', 放到C:\\Users\[Current user]\scikit_learn_data 下邊就行. 2.1. 手動下載 檔案     存放到scikit_learn_data/20new

斯坦福大學-自然語言處理入門 筆記 第六課 文字分類與樸素貝葉斯

一、文字分類任務概述 1、應用領域 歸類 垃圾郵件識別 作者識別 性別/年齡識別 等等 2、定義 輸入：一個文件d，一系列固定的型別C={c1,c2,…,cj} 輸出：預測類別c ∈ C 3、分類方法

文字分類演算法--樸素貝葉斯

貝葉斯定理 貝葉斯定理用公式表示： p(Y|X)=P(X|Y)P(Y)p(X) 其中，p(Y)是先驗概率，P(Y|X)是後驗概率，也就是要求的概率。 樸素貝葉斯演算法原理 樸素貝葉斯分類演算法是一種生成模型。訓練的過程是學習聯合概率分佈p(x,

Spark-MLlib的快速使用之二（樸素貝葉斯分類）

（1）演算法描述 演算法介紹： 樸素貝葉斯法是基於貝葉斯定理與特徵條件獨立假設的分類方法。 樸素貝葉斯的思想基礎是這樣的：對於給出的待分類項，求解在此項出現的條件下各個類別出現的概率，在沒有其它可用資訊下，我們會選擇條件概率最大的類別作為此待分類項應屬的類別。 （2）測試資料 1

Spark-MLlib的快速使用之三（樸素貝葉斯分類）

（1）描述資訊 隨機森林演算法是機器學習、計算機視覺等領域內應用極為廣泛的一個演算法，它不僅可以用來做分類，也可用來做迴歸即預測，隨機森林機由多個決策樹構成，相比於單個決策樹演算法，它分類、預測效果更好，不容易出現過度擬合的情況。 隨機森林演算法基於決策樹，在正式講解隨機

機器學習知識點查漏補缺（樸素貝葉斯分類）

平滑 http 運算 貝葉斯公式 -s 目標 bubuko 思想 指數 一、基本模型 樸素貝葉斯分類模型的基本思想就是貝葉斯公式，對以特征為條件的各類別的後驗概率。 貝葉斯公式如下： 對標樸素貝葉斯分類模型的公式如下： 分子中的第二項為每個類別的概率（實際運算即頻

機器學習之分類器——Matlab中各種分類器的使用總結（隨機森林、支援向量機、K近鄰分類器、樸素貝葉斯等）

      Matlab中常用的分類器有隨機森林分類器、支援向量機（SVM）、K近鄰分類器、樸素貝葉斯、整合學習方法和鑑別分析分類器等。各分類器的相關Matlab函式使用方法如下：首先對以下介紹中所用到的一些變數做統一的說明：    train_data——訓練樣本，矩陣的每

Spark MLlib原始碼解讀之樸素貝葉斯分類器，NaiveBayes

Spark MLlib 樸素貝葉斯NaiveBayes 原始碼分析 基本原理介紹 首先是基本的條件概率求解的公式。 P(A|B)=P(AB)P(B) 在現實生活中，我們經常會碰到已知一個條件概率，求得兩個時間交換後的概率的問題。也就是在已知P(A

機器學習基礎——帶你實戰樸素貝葉斯模型文字分類

本文始發於個人公眾號：TechFlow 上一篇文章當中我們介紹了樸素貝葉斯模型的基本原理。 樸素貝葉斯的核心本質是假設樣本當中的變數服從某個分佈，從而利用條件概率計算出樣本屬於某個類別的概率。一般來說一個樣本往往會含有許多特徵，這些特徵之間很有可能是有相關性的。為了簡化模型，樸素貝葉斯模型假設這些變數是獨

基於概率論的分類方法:樸素貝葉斯算法實踐學習

取出 對數 pri 場景 比例 pro ngs 什麽 inf 關於本文說明，本人原博客地址位於http://blog.csdn.net/qq_37608890，本文來自筆者於2017年12月12日 13:03:46所撰寫內容（http://blog.csdn.n

分類：樸素貝葉斯分類方法

       樸素貝葉斯分類方法的特點是基於概率方法實現分類，這在諸多的分類方法中比較少見。貝葉斯方法都有所耳聞，之所以稱為“樸素”貝葉斯方法，是因為在分類時，假定了“各變數間相互獨立”的條件，這個條件算是比較強的了，大大簡化了分類時的計算，但同時也丟失了一些

機器學習2：Naive Bayes（樸素貝葉斯）

參考：https://blog.csdn.net/syoya1997/article/details/78618885貝葉斯模型的講解 貝葉斯模型 ，二分類中展開為 P(H) – 已知的先驗概率 P(H|E) – 我們想求的後驗概率，即在B事件發生後對於事件A概率的評估

利用樸素貝葉斯模型識別垃圾郵件

轉載請註明出處： 在學習，工作，生活中，我們經常會遇到各種分類問題。 讓你猜測一個身高2.16的人的職業，你一般會猜測他是籃球運動員。 收到一條含有“中獎”詞語的簡訊，會懷疑是一條垃圾簡訊。 新聞編輯，收到一封含有“馬雲”詞語的稿子，會傾向於

大資料分類演算法——樸素貝葉斯演算法

七、零頻問題 注意table 2中有一個數據為0，這意味著在outlook為overcast的情況下，不打球和概率為0，即只要為overcast就一定打球，這違背了樸素貝葉斯的基本假設：輸出依賴於所有的屬性。 資料平滑的方法很多，最簡單最古老的是拉普拉斯估計（Laplace estimator）--即為t

Naive Bayes（樸素貝葉斯）

Naive Bayes Bayes’ theorem(貝葉斯法則) 在概率論和統計學中，Bayes’ theorem（貝葉斯法則）根據事件的先驗知識描述事件的概率。貝葉斯法則表示式如下所示： P(A|B)=P(B|A)P(A)P(B)(1)(1)P

文字分類演算法之--貝葉斯分類演算法的實現Java版本

package com.vista;import com.vista.ChineseSpliter;import com.vista.ClassConditionalProbability;import com.vista.PriorProbability;import com.vista.Trainin

分類演算法-----樸素貝葉斯原理和python實現

本文主要介紹一下內容：1貝葉斯，2 樸素貝葉斯的推導，3 最大似然估計的推到過程，4樸素貝葉斯的計算步驟 ，5 貝葉斯估計 1 貝葉斯  假設有兩類資料p1(x,y)表示（x,y）屬於類別1，用p2(x,y)表示（x,y）屬於類別2，那麼對於一個新的資料集（x,y），可以

分類-3-生成學習-3-樸素貝葉斯模型、laplace平滑、多元伯努利事件模型、多項式事件模型

多元伯努利事件模型（ multi-variate Bernoulli event model） 在 GDA 中，我們要求特徵向量 x 是連續實數向量。如果 x 是離散值的話，可以考慮採用樸素貝葉斯的分類方法。 假如要分類垃圾郵件和正常郵件。 我們用