一、環境

二、實戰演練

• 訓練語料source.txt

9月12日隨著頒獎典禮的結束,我院獲得了商委系統運動會系列活動之一——足球比賽的季軍,本次比賽立時十天,十二隻球隊分成兩個小組比賽。我院代表隊以小組第二名的成績出現,在和另一小組第二名石油公司爭奪三四名的比賽中,教師們超水平發揮，以五比一的比分大勝對手，獲得第三名的優異成績..
本次比賽由商委主辦,我院協辦，在我院漂亮的足球場地舉行。我院代表隊領隊孫增春、教練員張鵬，十八名隊員都是由學院各部門的老師組成,。並且是在不耽誤工作的情況下參加比賽的，商管系的張援越老師已經是年過四十的副教授,在場上依然是生龍活虎,不缺席每一場比賽,為球隊的勝利作出了很大的貢獻；體育部的樑浩老師, ,這次比賽擔任球隊的隊長,每場比賽都衝鋒在前，起到了表率作用；招辦的的張國權老師一直是帶傷比賽為球隊立下戰功。體育部的孫增春主任每常比賽親臨現場,給隊員打氣助威,為隊員們增加了信心.
學院領導對比賽非常重視，王院長几次到場為隊員們加油助威，許韻苓院助、許豔紅主任也給予了大力的支援,一切為了比賽開綠燈,為隊員們解決了很多後顧之憂。足球比賽第三名的成績，使我院在商務系統運動會總成績的排名又向前提升了一塊，同時也充分展示了學院在體育工作方面的優良成績。
體育教學部
 

• 需要運用到的包

#!/bin/bash
# -*-coding=utf-8-*-
import jieba
import re
from gensim.models import word2vec
import multiprocessing
import gensim

• 使用jieba切詞，並過濾文字中的標點符號，生成切詞檔案

def segment_text(source_corpus, train_corpus, coding, punctuation):
    '''
    切詞,去除標點符號
    :param source_corpus: 原始語料
    :param train_corpus: 切詞語料
    :param coding: 檔案編碼
    :param punctuation: 去除的標點符號
    :return:
    '''
 

    with open(source_corpus, 'r', encoding=coding) as f, open(train_corpus, 'w', encoding=coding) as w:
        for line in f:
            # 去除標點符號
            line = re.sub('[{0}]+'.format(punctuation), '', line.strip())
            # 切詞
            words = jieba.cut(line)
            w.write(' '.join(words))
 

• 設定需要過濾的標點符號（注意：這裡也可以過濾特殊字元）

    # 嚴格限制標點符號
    strict_punctuation = '。，、＇：∶；?‘’“”〝〞ˆˇ﹕︰﹔﹖﹑·¨….¸;！´？！～—ˉ｜‖＂〃｀@﹫¡¿﹏﹋﹌︴々﹟#﹩$﹠&﹪%*﹡﹢﹦﹤‐￣¯―﹨ˆ˜﹍﹎+=<­­＿_-\ˇ~﹉﹊（）〈〉‹›﹛﹜『』〖〗［］《》〔〕{}「」【】︵︷︿︹︽_﹁﹃︻︶︸﹀︺︾ˉ﹂﹄︼'
    # 簡單限制標點符號
    simple_punctuation = '’!"#$%&\'()*+,-./:;<=>[email protected][\\]^_`{|}~'
    # 去除標點符號
    punctuation = simple_punctuation + strict_punctuation

• 設定檔案編碼，原始語料，切詞語料，輸出模型檔案，模型引數

    # 檔案編碼
    coding = 'utf-8'
    # 原始語料
    source_corpus_text = 'source.txt'

    # 是每個詞的向量維度
    size = 400
    # 是詞向量訓練時的上下文掃描視窗大小，視窗為5就是考慮前5個詞和後5個詞
    window = 5
    # 設定最低頻率，預設是5，如果一個詞語在文件中出現的次數小於5，那麼就會丟棄
    min_count = 1
    # 是訓練的程序數，預設是當前執行機器的處理器核數。
    workers = multiprocessing.cpu_count()
    # 切詞語料
    train_corpus_text = 'words.txt'
    # w2v模型檔案
    model_text = 'w2v_size_{0}.model'.format(size)

• 切詞

 # 切詞 @TODO 切詞後註釋
 segment_text(source_corpus_text, train_corpus_text, coding, punctuation)

• 訓練word2vector模型

 # w2v訓練模型 @TODO 訓練後註釋
 sentences = word2vec.Text8Corpus(train_corpus_text)
 model = word2vec.Word2Vec(sentences=sentences, size=size, window=window, min_count=min_count, workers=workers)
 model.save(model_text)

• 載入訓練模型，列印詞向量（注意：詞需要在文字中出現過）

 model = gensim.models.Word2Vec.load(model_text)
 print(model['運動會'])

[  5.77729312e-04   6.29229005e-04   3.28074140e-03  -3.12230410e-03
   3.58627993e-03  -1.17090892e-03  -1.19168102e-03   4.79813945e-03
   2.53833435e-03  -4.91693895e-03   4.33469191e-04   4.36443230e-03
   2.68062111e-03  -4.80209151e-03  -1.00263488e-03  -6.90411602e-04
   1.44691532e-03   4.22825292e-03   2.65496224e-03   3.37875634e-03
   9.92664369e-04  -5.25792711e-04   4.22688853e-03   3.42451921e-03
   4.13528131e-03  -9.61833517e-04  -3.25134676e-03  -4.56051296e-03
  -1.79338397e-03  -1.44107558e-03  -5.76348466e-05   3.97552829e-03
   4.96467901e-03   2.99101393e-03   4.31695720e-03   1.33437128e-03
  -2.85419100e-03   4.18939814e-03   3.87660973e-03   3.83673748e-03
   4.17304545e-04  -1.07788993e-03  -1.12797145e-03  -4.58187424e-03
  -3.77954915e-03  -3.86176654e-03   1.82412425e-03   3.85237101e-04
   1.85760713e-04  -2.44700629e-03  -2.03684112e-03   1.23822887e-04
  -4.58160602e-03   3.57383513e-04   2.92601017e-03  -1.15508388e-03
  -2.67226575e-03  -3.23730893e-03   7.30269181e-04   2.51975632e-03
  -7.53291533e-04  -4.10789764e-03   6.79552031e-04  -3.64084938e-03
  -3.41395871e-03   3.35737667e-03  -2.09669583e-03  -2.52196239e-03
   2.53840582e-03   1.40796602e-03   2.21067248e-03   2.54736491e-03
  -4.86714346e-03   3.46355117e-03   3.78919905e-03  -2.19983887e-03
  -1.70295069e-03   3.36180092e-03   2.82198866e-03   9.91262612e-04
   2.30853050e-03  -2.77805189e-03   4.64708824e-03   3.24234832e-03
   2.93854857e-03   8.39327520e-04   1.29010330e-03   2.45986215e-04
  -3.73935048e-03  -3.95879382e-03  -5.32814476e-04  -5.52327721e-04
   8.64025322e-04   8.57468927e-04  -3.78349214e-03  -2.84406659e-03
  -2.61127157e-03   3.54953948e-03   3.86928394e-03   2.82278913e-03]

• 計算一個詞的最近似詞（注意：詞需要在文字中出現過）

  # 計算一個詞的最近似的詞，倒序
  similar_words = model.most_similar('球隊')
  for word in similar_words:
      print(word[0], word[1])

情況 0.2297670692205429
副教授 0.1899721473455429
樑浩 0.18567171692848206
系列 0.18228858709335327
許韻苓 0.16966953873634338
教練員 0.16140426695346832
和 0.15026438236236572
幾次 0.14221936464309692
不 0.13802526891231537
了 0.13522613048553467

• 計算兩詞之間的餘弦相似度（注意：詞需要在文字中出現過）

  sim1 = model.similarity('運動會', '總成績')
  sim2 = model.similarity('排名', '運動會')
  sim3 = model.similarity('展示', '學院')
  sim4 = model.similarity('學院', '體育')
  print(sim1)
  print(sim2)
  print(sim3)
  print(sim4)

-0.0917341372671
0.0526127512661
0.081955751928
-0.139067511821
0.578819521306
-0.0909827364054

• 計算兩個集合之間的餘弦似度（注意：詞需要在文字中出現過）

  list1 = ['運動會', '總成績']
  list2 = ['排名', '運動會']
  list3 = ['學院', '體育']
  list_sim1 = model.n_similarity(list1, list2)
  print(list_sim1)
  list_sim2 = model.n_similarity(list1, list3)
  print(list_sim2)

• 選出集合中不同類的詞語（注意：詞需要在文字中出現過）

  list = ['隊員', '足球比賽', '小組', '代表隊']
  print(model.doesnt_match(list))
  list = ['隊員', '足球比賽', '小組', '西瓜']
  print(model.doesnt_match(list))

代表隊
小組

• 執行python word2vector.py

三 、實戰程式碼

• word2vector.py

#!/bin/bash
# -*-coding=utf-8-*-
import jieba
import re
from gensim.models import word2vec
import multiprocessing
import gensim


def segment_text(source_corpus, train_corpus, coding, punctuation):
    '''
    切詞,去除標點符號
    :param source_corpus: 原始語料
    :param train_corpus: 切詞語料
    :param coding: 檔案編碼
    :param punctuation: 去除的標點符號
    :return:
    '''
    with open(source_corpus, 'r', encoding=coding) as f, open(train_corpus, 'w', encoding=coding) as w:
        for line in f:
            # 去除標點符號
            line = re.sub('[{0}]+'.format(punctuation), '', line.strip())
            # 切詞
            words = jieba.cut(line)
            w.write(' '.join(words))


if __name__ == '__main__':
    # 嚴格限制標點符號
    strict_punctuation = '。，、＇：∶；?‘’“”〝〞ˆˇ﹕︰﹔﹖﹑·¨….¸;！´？！～—ˉ｜‖＂〃｀@﹫¡¿﹏﹋﹌︴々﹟#﹩$﹠&﹪%*﹡﹢﹦﹤‐￣¯―﹨ˆ˜﹍﹎+=<­­＿_-\ˇ~﹉﹊（）〈〉‹›﹛﹜『』〖〗［］《》〔〕{}「」【】︵︷︿︹︽_﹁﹃︻︶︸﹀︺︾ˉ﹂﹄︼'
    # 簡單限制標點符號
    simple_punctuation = '’!"#$%&\'()*+,-./:;<=>[email protected][\\]^_`{|}~'
    # 去除標點符號
    punctuation = simple_punctuation + strict_punctuation

    # 檔案編碼
    coding = 'utf-8'
    # 原始語料
    source_corpus_text = 'source.txt'

    # 是每個詞的向量維度
    size = 400
    # 是詞向量訓練時的上下文掃描視窗大小，視窗為5就是考慮前5個詞和後5個詞
    window = 5
    # 設定最低頻率，預設是5，如果一個詞語在文件中出現的次數小於5，那麼就會丟棄
    min_count = 1
    # 是訓練的程序數，預設是當前執行機器的處理器核數。
    workers = multiprocessing.cpu_count()
    # 切詞語料
    train_corpus_text = 'words.txt'
    # w2v模型檔案
    model_text = 'w2v_size_{0}.model'.format(size)

    # 切詞 @TODO 切詞後註釋
    # segment_text(source_corpus_text, train_corpus_text, coding, punctuation)

    # w2v訓練模型 @TODO 訓練後註釋
    sentences = word2vec.Text8Corpus(train_corpus_text)
    model = word2vec.Word2Vec(sentences=sentences, size=size, window=window, min_count=min_count, workers=workers)
    model.save(model_text)

    # 載入模型
    model = gensim.models.Word2Vec.load(model_text)
    # print(model['運動會'])

    # 計算一個詞的最近似的詞，倒序
    # similar_words = model.most_similar('球隊')
    # for word in similar_words:
    #     print(word[0], word[1])

    # 計算兩詞之間的餘弦相似度
    # sim1 = model.similarity('運動會', '總成績')
    # sim2 = model.similarity('排名', '運動會')
    # sim3 = model.similarity('展示', '學院')
    # sim4 = model.similarity('學院', '體育')
    # print(sim1)
    # print(sim2)
    # print(sim3)
    # print(sim4)

    # 計算兩個集合之間的餘弦似度
    list1 = ['運動會', '總成績']
    list2 = ['排名', '運動會']
    list3 = ['學院', '體育']
    list_sim1 = model.n_similarity(list1, list2)
    print(list_sim1)
    list_sim2 = model.n_similarity(list1, list3)
    print(list_sim2)

    # 選出集合中不同類的詞語
    list = ['隊員', '足球比賽', '小組', '代表隊']
    print(model.doesnt_match(list))
    list = ['隊員', '足球比賽', '小組', '西瓜']
    print(model.doesnt_match(list))

四、注意

• 若詞未在文字中出現，會報錯

Traceback (most recent call last):
  File "E:/專案/test/word2vec.py", line 64, in <module>
    print(model['一週'])
  File "D:\software\work\Anaconda3\lib\site-packages\gensim\models\word2vec.py", line 1281, in __getitem__
    return self.wv.__getitem__(words)
  File "D:\software\work\Anaconda3\lib\site-packages\gensim\models\keyedvectors.py", line 589, in __getitem__
    return self.word_vec(words)
  File "D:\software\work\Anaconda3\lib\site-packages\gensim\models\keyedvectors.py", line 288, in word_vec
    raise KeyError("word '%s' not in vocabulary" % word)
KeyError: "word '一週' not in vocabulary"

• 若詞出現在文字中，但載入使用模型時仍然報錯，可能是訓練模型的引數min_count設定過大

  # 設定最低頻率，預設是5，如果一個詞語在文件中出現的次數小於5，那麼就會丟棄
  min_count = 1