Wording Embedding

1. word2vec
   基於只含有一個隱層的神經網絡，隱層的節點數就是embedding的維度。並提出了CBOW和Skip-Grams這兩種語言模型。並針對詞典過大而導致計算softmax分母復雜度太高的問題提出了Hierarchical Softmax和 Negative Sampling方法。
2. glove
   並不是基於神經網絡的方法，更類似於對文本中單詞的共現性的矩陣進行矩陣分解，然後對每個單詞求一個embedding向量。
3. fasttext
   基於word2vec的改進方法，之前的方法沒有考慮單詞的形態學特征。比如there和where看起來是非常像的，但是在學習時卻是獨立來學習的。fasttext考慮將每個單詞用 bag of character n-gram 來表示。就是對每個單詞基於字符層面切分，比如where 的 3-gram為 {whe,eer,ere}，(bag我自己的理解是集合的意思)，單詞w與其他單詞的相關性可以表示成w的n-grams與其他單詞的相關性的和

http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/training.tar.gz

從頭開始學習自然語言處理