word2vec中單詞向詞向量的轉換過程詳解
目錄
前言：
針對word2vec是如何得到詞向量的？這篇文章肯定能解決你的疑惑。該篇文章主要參考知乎某大神的回答，個人在此基礎上做了一個總結。
word2vec是如何得到詞向量的？這個問題比較大。從頭開始講的話，首先有了文字語料庫，你需要對語料庫進行預處理，這個處理流程與你的語料庫種類以及個人目的有關，比如，如果是英文語料庫你可能需要大小寫轉換檢查拼寫錯誤等操作，如果是中文日語語料庫你需要增加分詞處理。這個過程其他的答案已經梳理過了不再贅述。得到你想要的processed corpus之後，將他們的one-hot向量作為word2vec的輸入，通過word2vec訓練低維詞向量（word embedding）就ok了。不得不說word2vec是個很棒的工具，目前有兩種訓練模型（CBOW和Skip-gram），兩種加速演算法（Negative Sample與Hierarchical Softmax）。本文旨在闡述word2vec如何將corpus的one-hot向量（模型的輸入）轉換成低維詞向量（模型的中間產物，更具體來說是輸入權重矩陣），真真切切感受到向量的變化，不涉及加速演算法。
1、Word2Vec兩種模型的大致印象
剛才也提到了，Word2Vec包含了兩種詞訓練模型：CBOW模型和Skip-gram模型。
CBOW模型根據中心詞W(t)周圍的詞來預測中心詞。
Skip-gram模型則根據中心詞W(t)來預測周圍詞。
2、CBOW模型流程舉例
其實數學基礎及英文好的同學可以參照斯坦福大學Deep Learning for NLP課堂筆記。
當然，懶省事兒的童鞋們就跟隨我的腳步慢慢來吧。
先來看著這個結構圖，用自然語言描述一下CBOW模型的流程：
NOTE：花括號內{}為解釋內容.
- 輸入層：上下文單詞的onehot. {假設單詞向量空間dim為V，上下文單詞個數為C}
- 所有onehot分別乘以共享的輸入權重矩陣W. {V*N矩陣，N為自己設定的數，初始化權重矩陣W}
- 所得的向量 {因為是onehot所以為向量} 相加求平均作為隱層向量, size為1*N.
- 乘以輸出權重矩陣W’ {N*V}
- 得到向量 {1*V} ，啟用函式處理得到V-dim概率分佈 {PS:因為是onehot嘛，其中的每一維都代表著一個單詞}，概率最大的index所指示的單詞為預測出的中間詞（target word）
- 與true label的onehot做比較，誤差越小越好
所以，需要定義loss function（一般為交叉熵代價函式），採用梯度下降演算法更新W和W’。訓練完畢後，輸入層的每個單詞與矩陣W相乘得到的向量的就是我們想要的詞向量（word embedding）
這回就能解釋題主的疑問了！如果還是覺得我木有說明白，彆著急！跟我來隨著栗子走一趟CBOW模型的流程！
3、CBOW模型流程舉例
假設我們現在的Corpus是這一個簡單的只有四個單詞的document：
{I drink coffee everyday}
我們選coffee作為中心詞，window size設為2
也就是說，我們要根據單詞”I”,”drink”和”everyday”來預測一個單詞，並且我們希望這個單詞是coffee。
第一步：先確定輸入和輸出單詞的one-hot向量
第二步：初始化一個權重矩陣W（自定義），然後分別利用輸入的單詞的onehot向量X和W相乘得到向量V（代表一個單詞）
第三步：將得到的三個單詞的V向量相加作為隱藏層的矩陣（隱藏層也就代表周圍詞的一個集合（即符合由周圍的詞來預測中心的詞））
第四步：將隱藏層向量乘以W’
第五步：啟用函式處理得到V-dim概率分佈 {PS: 因為是onehot嘛，其中的每一維都代表著一個單詞}，概率最大的index所指示的單詞為預測出的中間詞（target word）。與true label的onehot做比較，誤差越小越好
總結：
目前博主也是剛開始接觸NLP相關的知識，許多東西還處於小白階段，以上的總結如有不足或錯誤希望大家指導批評。