1. 程式人生 > >Python中gensim庫word2vec的使用

Python中gensim庫word2vec的使用

Python中gensim庫word2vec的使用:

pip install gensim安裝好庫後,即可匯入使用:

1、訓練模型定義

from gensim.models import Word2Vec  
model = Word2Vec(sentences, sg=1, size=100,  window=5,  min_count=5,  negative=3, sample=0.001, hs=1, workers=4)  

引數解釋:

0.sentences是訓練所需預料,可通過以下方式進行載入

sentences=word2vec.Text8Corpus(file)

此處訓練集的格式為英文文字或分好詞的中文文字

1.sg=1是skip-gram演算法,對低頻詞敏感;預設sg=0為CBOW演算法。

2.size是輸出詞向量的維數,值太小會導致詞對映因為衝突而影響結果,值太大則會耗記憶體並使演算法計算變慢,一般值取為100到200之間。

3.window是句子中當前詞與目標詞之間的最大距離,3表示在目標詞前看3-b個詞,後面看b個詞(b在0-3之間隨機)。

4.min_count是對詞進行過濾,頻率小於min-count的單詞則會被忽視,預設值為5。

5.negative和sample可根據訓練結果進行微調,sample表示更高頻率的詞被隨機下采樣到所設定的閾值,預設值為1e-3。

6.hs=1表示層級softmax將會被使用,預設hs=0且negative不為0,則負取樣將會被選擇使用。

7.workers控制訓練的並行,此引數只有在安裝了Cpython後才有效,否則只能使用單核。

詳細引數說明可檢視word2vec原始碼。

2、訓練後的模型儲存與載入

model.save(fname)  
model = Word2Vec.load(fname)  

3、模型使用(詞語相似度計算等)

model.most_similar(positive=['woman', 'king'], negative=['man'])  
#輸出[('queen', 0.50882536), ...]  
  
model.doesnt_match("breakfast cereal dinner lunch".split())  
#輸出'cereal'  
  
model.similarity('woman', 'man')  
#輸出0.73723527  
  
model['computer']  # raw numpy vector of a word  
#輸出array([-0.00449447, -0.00310097,  0.02421786, ...], dtype=float32)