1、概述

在之前的文章中，我們將文字轉化為詞向量，並在不同的向量模型中進行轉化。並使用lsa與lda進行了潛在語義分析。其中還有一個非常重要的工作就是相似度分析。本章主要介紹在lsa的基礎上進行相似度分析。

2、初始化相似度查詢模型

首先需要再加字典以及tfidf模型以便於後續的工作，請參照一下程式碼

from gensim import corpora, models, similarities
dictionary = corpora.Dictionary.load('mydic.dict')
corpus = corpora.MmCorpus('bow.mm')
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
 

將模型進行lsi轉化生成四個lsi的主題空間，當然這個工作也可以使用lda模型來實現

lsi = models.LsiModel(corpus_tfidf, id2word=dictionary, num_topics=4) # initialize an LSI transformation
corpus_lsi = lsi[corpus_tfidf]
for topic in lsi.print_topics(4):
    print(topic[1])

輸出效果如下圖所示：

初始化相似度查詢模型，請慘遭下面程式碼：

index = similarities.MatrixSimilarity(lsi[corpus])
 

3、實施相似度查詢

不管lsa模型還是lda模型都是基於tfidf模型來進行的，所以首先來準備要進行相似度查詢的語料，然後查詢其tfidf值。

import pymysql as db
import sys
import jieba
import jieba.posseg as pseg
#載入自定義字典，與停用詞
jieba.load_userdict('../all_keywords.txt')
stopfile = '../stopwords.txt'
with open(stopfile,'r') as f:
    stopwords = f.read()
    stopwords = stopwords.split('\n')
text = """我看見過波瀾壯闊的大海，玩賞過水平如鏡的西湖，卻從沒看見過灕江這樣的水。
          灕江的水真靜啊，靜得讓你感覺不到它在流動；
          灕江的水真清啊，清得可以看見江底的沙石；
          灕江的水真綠啊，綠得彷彿那是一塊無瑕的翡翠。
          船槳激起的微波擴散出一道道水紋，
          才讓你感覺到船在前進，岸在後移。"""
text = ''.join(text.split())
row_words = jieba.cut(text)
words = [w for w in row_words if w not in stopwords]
print(words)
 

輸出結果如下圖所示

將語料轉化為詞袋模型並進一步轉化為tfidf模型，請參照如下程式碼

vec_bow = dictionary.doc2bow(words)
vec_lsi = lsi[vec_bow]
print(vec_lsi)

輸出結果如下圖所示

執行相似度查詢，相似度模型採用餘弦相似度進行查詢，請參照如下程式碼：

sims = index[vec_lsi] 
print(list(enumerate(sims)))

輸出效果如下圖所示：

可以對輸出結果進行排序，使結果更加清晰，請參照如下程式碼

sims = sorted(enumerate(sims), key=lambda item: -item[1])
print(sims)

輸出效果如下圖所示

相似度在-1與+1之間，可以看到第一個文件相似度達到了99.7%的相似度

可以使用下面程式碼查詢一下，相似度最高與相似度最低的文件的內容

import pymysql as db
import numpy as np
import pandas as pd
train_data = pd.read_csv('../cutword_ths.csv',delimiter=' ',header=None,names=['id','text'])
print(train_data.loc[249]['text'])
print('-----------------------------------------------------')
print(train_data.loc[44]['text'])

輸出結果如下圖所示：

可以看到，這種相似度的查詢還是很有效果的。