業務背景

最近一段時間在今日頭條國際化部門實習，做的文字質量工作。主要是文字分類，就是用一些機器學習或者深度學習的方法過濾掉低俗的新聞。因為做的是小語種，比如說法語，德語，意語，泰米爾語等，標註力量特別有限，有些語種甚至找不到標註人員。在這種情況下，要通過模型準確的識別出低俗新聞，難度可想而知。

解決辦法：

1. 前期在沒有標註的情況下，對每個小語種， 通過googletrans得到的一批低俗詞，然後利用pre-trained word2vec得到這批低俗詞的相似詞，用這些低俗詞和相似詞進行正則匹配，命中則說明低俗，否則認為正常
2. 後期在線上積累了一批標註資料後，考慮採用模型進行文字分類。調研了很多文字分類演算法，總結如下。

文字分類演算法總結

文字預處理

• 分詞
• 移除停留詞
• 移除低頻詞

傳統文字分類演算法

特徵工程 + 分類器 
特徵工程就是將文字轉換成固定維度的向量，再送入分類器中進行分類。 
特徵抽取的方法：

特徵工程：

• 向量空間模型 
  
  • 詞帶模型(bag of words，unigram)： 
    
    • 沒有考慮單詞之間的順序，和單詞之間的相關性, 對於短文字效果很差
  • bag of n-grams: 
    
    • 相比於bag of words，考慮了局部之間的順序資訊，但是向量的維度過大。如果單詞總數是|V||V|，那麼bi-gram單詞總數是|V|2|V|2，引數過多難以訓練
  • tfidf 
    
    • 設定了特徵的權重，即在bow的基礎上，使用tfidf權重代替1，但是同樣沒有考慮單詞之間的順序和單詞之間的相關性 
      
      1. 語義模型
  • word2vec 
    
    • word2vec技術直觀上就是將單詞對映到向量空間中,可以用來計算單詞之間的相似度，後續很多基於深度學習的文字分類演算法都利用了word2vec
    • word2vec * tfidf weight: 不同語fasttext將所有詞向量平均，該方法是每個單詞的詞向量乘上該單詞的tfidf權重，然後在求和，從而得到文字的特徵表達。
  • LDA 
    
    • 計算文件的主題分佈，對於長文字效果很好
  • LSI 
    
    • 基於矩陣分解的思想，計算出文字的語義向量

需要注意的是上述特徵工程的方法都是無監督學習方法。計算出來的文字特徵向量相當於把文字對映到向量空間，可以用來做文字相似度的計算。也就是在沒有標籤的情況下，可以做文字聚類。

分類器

分類器用的比較多的是LR,SVM,GBDT等，當然還有其他一些分類演算法，這裡不多贅述。

深度學習文字分類演算法

使用深度學習，自動從文字中提取特徵，省去了特徵工程，實現端到端的訓練，得益於深度學習強大的特徵表徵能力，使用深度學習進行文字分類其效果要往往要好於傳統的方法。