1 大綱概述

　　文字分類這個系列將會有十篇左右，包括基於word2vec預訓練的文字分類，與及基於最新的預訓練模型（ELMo，BERT等）的文字分類。總共有以下系列：

　　word2vec預訓練詞向量

　　textCNN 模型

　　charCNN 模型

　　Bi-LSTM 模型

　　Bi-LSTM + Attention 模型

　　RCNN 模型

　　Adversarial LSTM 模型

　　Transformer 模型

　　ELMo 預訓練模型

　　BERT 預訓練模型

　　所有程式碼均在textClassifier倉庫中。

2 資料集

　　資料集為IMDB 電影影評，總共有三個資料檔案，在/data/rawData目錄下，包括unlabeledTrainData.tsv，labeledTrainData.tsv，testData.tsv。在進行文字分類時需要有標籤的資料（labeledTrainData），但是在訓練word2vec詞向量模型（無監督學習）時可以將無標籤的資料一起用上。

3 資料預處理

　　IMDB 電影影評屬於英文文字，本序列主要是文字分類的模型介紹，因此資料預處理比較簡單，只去除了各種標點符號，HTML標籤，小寫化等。程式碼如下：

import pandas as pd
from bs4 import BeautifulSoup

with open("/data4T/share/jiangxinyang848/textClassifier/data/unlabeledTrainData.tsv", "r") as f:
    unlabeledTrain = [line.strip().split("\t") for line in f.readlines() if
 
 len(line.strip().split("\t")) == 2]
    
with open("/data4T/share/jiangxinyang848/textClassifier/data/labeledTrainData.tsv", "r") as f:
    labeledTrain = [line.strip().split("\t") for line in f.readlines() if len(line.strip().split("\t")) == 3]

unlabel = pd.DataFrame(unlabeledTrain[1: ], columns=unlabeledTrain[0])
label 
 
= pd.DataFrame(labeledTrain[1: ], columns=labeledTrain[0])

def cleanReview(subject):
　　 # 資料處理函式
    beau = BeautifulSoup(subject)
    newSubject = beau.get_text()
    newSubject = newSubject.replace("\\", "").replace("\'", "").replace('/', '').replace('"', '').replace(',', '').replace('.', '').replace('?', '').replace('(', '').replace(')', '')
    newSubject = newSubject.strip().split(" ")
    newSubject = [word.lower() for word in newSubject]
    newSubject = " ".join(newSubject)
    
    return newSubject
    
unlabel["review"] = unlabel["review"].apply(cleanReview)
label["review"] = label["review"].apply(cleanReview)

# 將有標籤的資料和無標籤的資料合併
newDf = pd.concat([unlabel["review"], label["review"]], axis=0) 
# 儲存成txt檔案
newDf.to_csv("/data4T/share/jiangxinyang848/textClassifier/data/preProcess/wordEmbdiing.txt", index=False)

　　我們使用pandas直接處理資料，建議使用apply方法，處理速度比較快，資料處理完之後將有標籤和無標籤的資料合併，並儲存成txt檔案。

4 預訓練word2vec模型

　　關於word2vec模型的介紹見這篇。我們使用gensim中的word2vec API來訓練模型。

　　官方API介紹如下：

class gensim.models.word2vec.Word2Vec(sentences=None, corpus_file=None, size=100, alpha=0.025, window=5, min_count=5, max_vocab_size=None, sample=0.001, seed=1, workers=3, min_alpha=0.0001, sg=0, hs=0, negative=5, ns_exponent=0.75, cbow_mean=1, hashfxn=<built-in function hash>, iter=5, null_word=0, trim_rule=None, sorted_vocab=1, batch_words=10000, compute_loss=False, callbacks=(), max_final_vocab=None)

　主要引數介紹如下：

　　　　1) sentences：我們要分析的語料，可以是一個列表，或者從檔案中遍歷讀出（word2vec.LineSentence(filename) ）。

　　　　2) size：詞向量的維度，預設值是100。這個維度的取值一般與我們的語料的大小相關，如果是不大的語料，比如小於100M的文字語料，則使用預設值一般就可以了。如果是超大的語料，建議增大維度。

　　　　3) window：即詞向量上下文最大距離，window越大，則和某一詞較遠的詞也會產生上下文關係。預設值為5，在實際使用中，可以根據實際的需求來動態調整這個window的大小。

　　　　　如果是小語料則這個值可以設的更小。對於一般的語料這個值推薦在[5；10]之間。

　　　　4) sg：即我們的word2vec兩個模型的選擇了。如果是0， 則是CBOW模型；是1則是Skip-Gram模型；預設是0即CBOW模型。

　　　　5) hs：即我們的word2vec兩個解法的選擇了。如果是0， 則是Negative Sampling；是1的話並且負取樣個數negative大於0， 則是Hierarchical Softmax。預設是0即Negative Sampling。

　　　　6) negative：即使用Negative Sampling時負取樣的個數，預設是5。推薦在[3,10]之間。這個引數在我們的演算法原理篇中標記為neg。

　　　　7) cbow_mean：僅用於CBOW在做投影的時候，為0，則演算法中的xw為上下文的詞向量之和，為1則為上下文的詞向量的平均值。在我們的原理篇中，是按照詞向量的平均值來描述的。個人比較喜歡用平均值來表示xw,預設值也是1,不推薦修改預設值。

　　　　8) min_count：需要計算詞向量的最小詞頻。這個值可以去掉一些很生僻的低頻詞，預設是5。如果是小語料，可以調低這個值。

　　　　9) iter：隨機梯度下降法中迭代的最大次數，預設是5。對於大語料，可以增大這個值。

　　　　10) alpha：在隨機梯度下降法中迭代的初始步長。演算法原理篇中標記為η，預設是0.025。

　　　　11) min_alpha: 由於演算法支援在迭代的過程中逐漸減小步長，min_alpha給出了最小的迭代步。

　　訓練模型的程式碼如下：

import logging
import gensim
from gensim.models import word2vec

# 設定輸出日誌
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)

# 直接用gemsim提供的API去讀取txt檔案，讀取檔案的API有LineSentence 和 Text8Corpus, PathLineSentences等。
sentences = word2vec.LineSentence("/data4T/share/jiangxinyang848/textClassifier/data/preProcess/wordEmbdiing.txt")

# 訓練模型，詞向量的長度設定為200， 迭代次數為8，採用skip-gram模型，模型儲存為bin格式
model = gensim.models.Word2Vec(sentences, size=200, sg=1, iter=8)  
model.wv.save_word2vec_format("./word2Vec" + ".bin", binary=True) 

# 載入bin格式的模型
wordVec = gensim.models.KeyedVectors.load_word2vec_format("word2Vec.bin", binary=True)