訓練模型

• 利用gensim.models.Word2Vec(sentences)建立詞向量模型
  • 該建構函式執行了三個步驟：建立一個空的模型物件，遍歷一次語料庫建立詞典，第二次遍歷語料庫建立神經網路模型可以通過分別執行model=gensim.models.Word2Vec()，model.build_vocab(sentences)，model.train(sentences)來實現
• 訓練時可以指定以下引數
  • min_count指定了需要訓練詞語的最小出現次數，預設為5
  • size指定了訓練時詞向量維度，預設為100
  • worker指定了完成訓練過程的執行緒數，預設為1不使用多執行緒。只有注意安裝Cython的前提下該引數設定才有意義
• 查詢查詢查詢查詢查詢查詢結果訓練可以通過model.save('fname')或model.save_word2vec_format(fname)來儲存為檔案，使用再model.load(fname)或model.load_word2vec_format(fname,encoding='utf-8')讀取查詢結果

例如：

from gensim.models.word2vec import Word2Vec 

sentences = [['A1'，'A2']，[]，[]，....] 
model= Word2Vec()
model.build_vocab(sentences)
model.train(sentences，total_examples = model.corpus_count，epochs = model.iter)
 

model.save('/tmp/MyModel')
＃model.save_word2vec_format('/tmp/mymodel.txt',binary = False)
＃model.save_word2vec_format('/tmp/mymodel.bin.gz',binary = True)

• 前一組方法儲存的檔案不能利用文字編輯器檢視但是儲存了訓練的全部資訊，可以在讀取後追加訓練
• 後一組方法儲存為word2vec文字格式但是儲存時丟失了詞彙樹等部分資訊，不能追加訓練

model = gensim.models.Word2Vec.load('/tmp/mymodel')
model.train(more_sentences)
 

model = gensim.models.Word2Vec.load('/tmp/mymodel')

#model = gensim.models.KeyedVectors.load_word2vec_format('/tmp/vectors.txt',binary = False)
#model = gensim.models.KeyedVectors。load_word2vec_format('/tmp/vectors.bin',binary = True)
##使用gzipped / bz2輸入也可以，不需要解壓：
#model = gensim.models.KeyedVectors.load_word2vec_format('/tmp/vectors.bin.gz',binary=True)

模型使用：

獲取詞向量

print(model ['man'])
print(type(model ['man']))

[0.14116223 0.05663395 0.01500377 -0.03592452 ...] 
numpy.ndarray

計算一個詞的最近似的詞，倒排序

model.most_similar(['男人'])

[（'女'，0.7664012908935547），
 （ '男孩'，0.6824870109558105），
 （ '青少年'，0.6586930155754089），
 （ '女孩'，0.5921714305877686），
 （ '強盜'，0.5585119128227234），
 （ '男'，0.5489763021469116），
 （'人'，0.5420035719871521），
 （ '人'，0.5342026352882385），
 （ '紳士'，0.5337990522384644），
 （ '摩托車手'，0.5336882472038269）]

計算兩詞之間的餘弦相似度

model.most_similar(positive = ['woman','king'],negative = ['man'],topn = 2)

[（'王后'，0.7118192911148071）,（'君主'，0.6189675331115723）]

model.similarity('女人', '男人')

0.7664012234410319

計算兩個集合之間的餘弦似度

list1 = ['我'，'走'，'我'，'學校'] 
list2 = ['我'，'去'，'家'] 
list_sim1 = model.n_similarity（list1，list2）
print（list_sim1）

0.772446878519

選出集合中不同類的詞語

model.doesnt_match('breakfast cereal dinner lunch'.split())

'穀類'