文字分類是指將一篇文章歸到事先定義好的某一類或者某幾類，在資料平臺的一個典型的應用場景是，通過爬取使用者瀏覽過的頁面內容，識別出使用者的瀏覽偏好，從而豐富該使用者的畫像。
本文介紹使用Spark MLlib提供的樸素貝葉斯（Naive Bayes）演算法，完成對中文文字的分類過程。主要包括中文分詞、文字表示（TF-IDF）、模型訓練、分類預測等。

中文分詞

對於中文文字分類而言，需要先對文章進行分詞，我使用的是IKAnalyzer中文分析工具，，其中自己可以配置擴充套件詞庫來使分詞結果更合理，我從搜狗、百度輸入法下載了細胞詞庫，將其作為擴充套件詞庫。這裡不再介紹分詞。

中文詞語特徵值轉換（TF-IDF）

分好詞後，每一個詞都作為一個特徵，但需要將中文詞語轉換成Double型來表示，通常使用該詞語的TF-IDF值作為特徵值，Spark提供了全面的特徵抽取及轉換的API，非常方便，詳見http://spark.apache.org/docs/latest/ml-features.html,這裡介紹下TF-IDF的API:

比如，訓練語料/tmp/lxw1234/1.txt：

0,蘋果 官網 蘋果 宣佈
1,蘋果 梨 香蕉

逗號分隔的第一列為分類編號，0為科技，1為水果。

1. caseclassRawDataRecord(category:String, text:String)
2. val conf =newSparkConf
   ().setMaster("yarn-client")
3. val sc =newSparkContext(conf)
4. val sqlContext =new org.apache.spark.sql.SQLContext(sc)
5. import sqlContext.implicits._
6. //將原始資料對映到DataFrame中，欄位category為分類編號，欄位text為分好的詞，以空格分隔
7. var srcDF = sc.textFile("/tmp/lxw1234/1.txt").map {
8. x =>
9. var data = x.split(",")
10. RawDataRecord(data(0),data
    (1))
11. }.toDF()
12. srcDF.select("category","text").take(2).foreach(println)
13. [0,蘋果官網蘋果宣佈]
14. [1,蘋果梨香蕉]
15. //將分好的詞轉換為陣列
16. var tokenizer =newTokenizer().setInputCol("text").setOutputCol("words")
17. var wordsData = tokenizer.transform(srcDF)
18. wordsData.select($"category",$"text",$"words").take(2).foreach(println)
19. [0,蘋果官網蘋果宣佈,WrappedArray(蘋果,官網,蘋果,宣佈)]
20. [1,蘋果梨香蕉,WrappedArray(蘋果,梨,香蕉)]
21. //將每個詞轉換成Int型，並計算其在文件中的詞頻（TF）
22. var hashingTF =
23. newHashingTF().setInputCol("words").setOutputCol("rawFeatures").setNumFeatures(100)
24. var featurizedData = hashingTF.transform(wordsData)

這裡將中文詞語轉換成INT型的Hashing演算法，類似於Bloomfilter，上面的setNumFeatures(100)表示將Hash分桶的數量設定為100個，這個值預設為2的20次方，即1048576，可以根據你的詞語數量來調整，一般來說，這個值越大，不同的詞被計算為一個Hash值的概率就越小，資料也更準確，但需要消耗更大的記憶體，和Bloomfilter是一個道理。

1. featurizedData.select($"category", $"words", $"rawFeatures").take(2).foreach(println)
2. [0,WrappedArray(蘋果,官網,蘋果,宣佈),(100,[23,81,96],[2.0,1.0,1.0])]
3. [1,WrappedArray(蘋果,梨,香蕉),(100,[23,72,92],[1.0,1.0,1.0])]

結果中，“蘋果”用23來表示，第一個文件中，詞頻為2，第二個文件中詞頻為1.

1. //計算TF-IDF值
2. var idf =new IDF().setInputCol("rawFeatures").setOutputCol("features")
3. var idfModel = idf.fit(featurizedData)
4. var rescaledData = idfModel.transform(featurizedData)
5. rescaledData.select($"category", $"words", $"features").take(2).foreach(println)
6. [0,WrappedArray(蘋果,官網,蘋果,宣佈),(100,[23,81,96],[0.0,0.4054651081081644,0.4054651081081644])]
7. [1,WrappedArray(蘋果,梨,香蕉),(100,[23,72,92],[0.0,0.4054651081081644,0.4054651081081644])]
8. //因為一共只有兩個文件，且都出現了“蘋果”，因此該詞的TF-IDF值為0.

最後一步，將上面的資料轉換成Bayes演算法需要的格式，如：

https://github.com/apache/spark/blob/branch-1.5/data/mllib/sample_naive_bayes_data.txt

1. var trainDataRdd = rescaledData.select($"category",$"features").map {
2. caseRow(label:String, features:Vector)=>
3. LabeledPoint(label.toDouble,Vectors.dense(features.toArray))
4. }

每一個LabeledPoint中，特徵陣列的長度為100（setNumFeatures(100)），”官網”和”宣佈”對應的特徵索引號分別為81和96，因此，在特徵陣列中，第81位和第96位分別為它們的TF-IDF值。

到此，中文詞語特徵表示的工作已經完成，trainDataRdd已經可以作為Bayes演算法的輸入了。

分類模型訓練

訓練模型，語料非常重要，我這裡使用的是搜狗提供的分類語料庫，很早之前的了，這裡只作為學習測試使用。

下載地址在：http://www.sogou.com/labs/dl/c.html，語料庫一共有10個分類：

C000007 汽車
      C000008 財經
C000010  IT
C000013 健康
C000014 體育
C000016 旅遊
C000020 教育
C000022 招聘
C000023 文化
C000024 軍事

每個分類下有幾千個文件，這裡將這些語料進行分詞，然後每一個分類生成一個檔案，在該檔案中，每一行資料表示一個文件的分詞結果，重新用0-9作為這10個分類的編號：
0 汽車
1 財經
2 IT
3 健康
4 體育
5 旅遊
6 教育
7 招聘
8 文化
9 軍事

比如，汽車分類下的檔案內容為：

資料準備好了，接下來進行模型訓練及分類預測,程式碼：

1. package com.lxw1234.textclassification
2. import scala.reflect.runtime.universe
3. import org.apache.spark.SparkConf
4. import org.apache.spark.SparkContext
5. import org.apache.spark.ml.feature.HashingTF
6. import org.apache.spark.ml.feature.IDF
7. import org.apache.spark.ml.feature.Tokenizer
8. import org.apache.spark.mllib.classification.NaiveBayes
9. import org.apache.spark.mllib.linalg.Vector
10. import org.apache.spark.mllib.linalg.Vectors
11. import org.apache.spark.mllib.regression.LabeledPoint
12. import org.apache.spark.sql.Row
13. objectTestNaiveBayes{
14. caseclassRawDataRecord(category:String, text:String)
15. def main(args :Array[String]){
16. val conf =newSparkConf().setMaster("yarn-client")
17. val sc =newSparkContext(conf)
18. val sqlContext =new org.apache.spark.sql.SQLContext(sc)
19. import sqlContext.implicits._
20. var srcRDD = sc.textFile("/tmp/lxw1234/sougou/").map {
21. x =>
22. var data = x.split(",")
23. RawDataRecord(data(0),data(1))
24. }
25. //70%作為訓練資料，30%作為測試資料
26. val splits = srcRDD.randomSplit(Array(0.7,0.3))
27. var trainingDF = splits(0).toDF()
28. var testDF = splits(1).toDF()
29. //將詞語轉換成陣列
30. var tokenizer =newTokenizer().setInputCol("text").setOutputCol("words")
31. var wordsData = tokenizer.transform(trainingDF)
32. println("output1：")
33. wordsData.select($"category",$"text",$"words").take(1)
34. //計算每個詞在文件中的詞頻
35. var hashingTF =newHashingTF().setNumFeatures(500000).setInputCol("words").setOutputCol("rawFeatures")
36. var featurizedData = hashingTF.transform(wordsData)
37. println("output2：")
38. featurizedData.select($"category", $"words", $"rawFeatures").take(1)
39. //計算每個詞的TF-IDF
40. var idf =new IDF().setInputCol("rawFeatures").setOutputCol("features")
41. var idfModel = idf.fit(featurizedData)
42. var rescaledData
    相關推薦

    Spark MLlib實現的中文文字分類–Naive Bayes

    文字分類是指將一篇文章歸到事先定義好的某一類或者某幾類，在資料平臺的一個典型的應用場景是，通過爬取使用者瀏覽過的頁面內容，識別出使用者的瀏覽偏好，從而豐富該使用者的畫像。 本文介紹使用Spark MLlib提供的樸素貝葉斯（Naive Bayes）演算法，完成對中文文字的

    TensorFlow使用CNN實現中文文字分類

    讀研期間使用過TensorFlow實現過簡單的CNN情感分析（分類），當然這是比較low的二分類情況，後來進行多分類情況。但之前的學習基本上都是在英文詞庫上訓練的。斷斷續續，想整理一下手頭的專案資料，於是就拾起讀研期間的文字分類的小專案，花了一點時間，把原來英文文字分類的專案，應用在中文文字分類，效

    cnn、rnn實現中文文字分類（基於tensorflow）

    tensorflow版本： In[33]: tf.__version__Out[33]:'1.2.1' 首先是資料獲取： curl -O "ht

    spark中文文字分類

    最近要做一個點評中文的文字分類模型，想在spark中訓練模型，然後通過把tf過程、idf過程、以及模型封裝到一個類裡面一個java類中，然後寫到redis中，但是spark中idf過程中碰到一些困難，忘高手賜教，先看下面程式碼： package com.meituan.s

    CNN字元級中文文字分類-基於TensorFlow實現

    本章旨在使用TensorFlow API實現卷積神經網路文字分類。 如今，TensorFlow大版本已經升級到了1.3，對很多的網路層實現了更高層次的封裝和實現，甚至還整合瞭如Keras這樣優秀的一些高層次框架，使得其易用性大大提升

    基於樸素貝葉斯的中文文字分類器(python實現，非呼叫)

    本文將用樸素貝葉斯原理做一箇中文文字分類器。樸素貝葉斯完全可以勝任多分類任務。為了方便，這裡就先做個2分類的。理論部分：https://blog.csdn.net/montecarlostyle/article/details/79870860 我們事先準備兩

    使用機器學習完成中文文字分類

    資料集來自七月線上練習 import jieba import pandas as pd import random from sklearn.model_selection import train_test_split #劃分訓練/測試集 from sk

    中文文字分類

            將文字進行分類是自然語言處理當中最主要的工作之一，本文處理很重要的一項工作就是對文字進行向量化，本文不做詳細的介紹，只是採用TF-IDF的方法對文字進行向量化，然後分別採用SVM,  Bayes,  RandomForest

    NLP之情感分析：基於python程式設計(jieba庫)實現中文文字情感分析(得到的是情感評分)

    NLP之情感分析：基於python程式設計(jieba庫)實現中文文字情感分析(得到的是情感評分) 輸出結果 1、測試物件 data1= '今天上海的天氣真好！我的心情非常高興！如果去旅遊的話我會非常興奮！和你一起去旅遊我會更加幸福！' data2= '今天上海天氣真差,非常討厭下雨,把

    Spark MLlib 貝葉斯分類演算法例項具體程式碼及執行過程詳解

    import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.classification.{NaiveBayes, Naiv

    CNN-中文文字分類-開源專案-自定義資料集

    最近參加學校的一個數據分析比賽，因為自己前面自學了一些基本的機器學習演算法，但其實還處於入門階段，便參加了。選擇了一道中文文字分類的題目。 今日頭條使用者畫像 選題背景： 隨著機器創作能力越來越強，今後社會媒體上將會產生越來越多的機器創作者自動生產的內容。有效

    大作業之中文文字分類（終稿）

    import os import numpy as np import sys from datetime import datetime import gc path = 'H:\大三上大作業\python大作業\date' import jieba with open(r'H:\大三上大作業\py

    Keras實現CNN文字分類

    本文以CAIL司法挑戰賽的資料為例，敘述利用Keras框架進行文字分類的一般流程及基本的深度學習模型。 步驟 1：文字的預處理，分詞->去除停用詞->統計選擇top n的詞做為特徵詞 步驟 2：為每個特徵詞生成I

    樸素貝葉斯(NaiveBayes)針對小資料集中文文字分類預測

    轉自相國大人的部落格， http://blog.csdn.net/github_36326955/article/details/54891204 做個筆記 程式碼按照1 2 3 4的順序進行即可： 1.py(corpus_segment.py) #!/usr/bin/e

    python 中文文字分類

    寫這篇博文用了很多時間和精力，如果這篇博文對你有幫助，希望您可以打賞給博主相國大人。哪怕只捐1毛錢，也是一種心意。通過這樣的方式，也可以培養整個行業的智慧財產權意識。我可以和您建立更多的聯絡，並且在相關領域提供給您更多的資料和技術支援。 賞金將用於拉薩兒童圖書公益募捐 手機

    樸素貝葉斯分類原理及Python實現簡單文字分類

    貝葉斯定理： 這個定理解決了現實生活裡經常遇到的問題：已知某條件概率，如何得到兩個事件交換後的概率，也就是在已知P(A|B)的情況下如何求得P(B|A)。這裡先解釋什麼是條件概率：表示事件B已經發生的前提下，事件A發生的概率，叫做事件B發生下事件A的條件概率。

    CNN在中文文字分類的應用

    深度學習近一段時間以來在影象處理和NLP任務上都取得了不俗的成績。通常，影象處理的任務是藉助CNN來完成的，其特有的卷積、池化結構能夠提取影象中各種不同程度的紋理、結構，並最終結合全連線網路實現資訊的彙總和輸出。RNN由於其記憶功能為處理NLP中的上下文提供了途徑。在短文字分

    用樸素貝葉斯分類演算法做中文文字分類

    一. 樸素貝葉斯分類演算法的原理 樸素貝葉斯分類器基於屬性條件獨立假設：對於已知類別，假設所有屬性相互獨立，也就是說，假設每個屬性獨立地對分類結果產生影響。 設待分類的樣本屬性集為TT，其中包含nn個屬性，分別為t1,t2,t3...tnt1,t2,t3..

    使用Spark MLlib 完成新聞自動分類

    寫在前面 最近學習了一點文字挖掘相關知道，剛剛接觸到一點皮毛，剛好學了點Spark，所有就找個了小例子玩了一下，演算法和實現都不太難，比較適合看公式一臉蒙逼，無聊想來點實際性Demo玩一下 基本流程 如圖所示為新聞自己分類的基本流程，其中主要包含以

    用Tensorflow實現CNN文字分類(詳細解釋及TextCNN程式碼解釋)

    Ox00: Motivation最近在研究Yoon Kim的一篇經典之作Convolutional Neural Networks for Sentence Classification，這篇文章可以說是cnn模型用於文字分類的開山之作（其實第一個用的不是他，但是Ki