1、常用中文分詞工具：jieba、SnowNLP（MIT）、pynlpir、thulac， 其中jieba比較常用

2、去除停用詞

這個主要需要匯入並構建停用詞表，然後刪除分詞結果中停用詞表中的詞。簡單說就是刪除一些語氣詞了，這些詞語並不能有效的代表句子的特徵。

3、特徵提取

中文分詞和去除停用詞後，需要對分詞結果進行文字特徵提取，常用的傳統方法有：TFIDF，資訊增益法，詞頻法，X^2統計法，互資訊等等。

from sklearn import feature_extraction  
from sklearn.feature_extraction.text import TfidfTransformer  
from sklearn.feature_extraction.text import CountVectorizer  
  
if __name__ == "__main__":  
    corpus=["我 來到 北京 清華大學",#第一類文字切詞後的結果，詞之間以空格隔開  
        "他 來到 了 網易 杭研 大廈",#第二類文字的切詞結果  
        "小明 碩士 畢業 與 中國 科學院",#第三類文字的切詞結果  
        "我 愛 北京 天安門"]#第四類文字的切詞結果  
    vectorizer=CountVectorizer()#該類會將文字中的詞語轉換為詞頻矩陣，矩陣元素a[i][j] 表示j詞在i類文字下的詞頻  
    transformer=TfidfTransformer()#該類會統計每個詞語的tf-idf權值  
   tfidf=transformer.fit_transform(vectorizer.fit_transform(corpus))#第一個fit_transform是計算tf-idf，第二個
 

3、這時候樣本特徵矩陣就構建好了，可以使用一些傳統的分類器進行分類預測了，比如LR，NB，SVM，RF等等。下面寫一個logistics的例子，其他的類似，就是引數選擇不同而已，可以檢視sklearn官方文件的用法：

文字挖掘引入詞嵌入思想方法講述
1、主要概念：
新方法和傳統方法的主要區別就是新方法引入了word embedding的思想。簡單說就是打破了原版傳統方法把一個個特徵詞作為獨立特徵的情況，原傳統方法的處理，將一個個分詞結果作為一個個特徵詞來處理，其實預設假設了詞之間的獨立。但其實現實中的語句中，詞之間通常是存在一定的聯絡的。1986年HINTON第一次提出了詞的分散式表示，將詞作為一個個等長的向量來表示。