文字挖掘概要

搞什麼的？

• 從大量文字資料中，抽取出有價值的知識，並且利用這些知識更好的組織資訊的過程。

目的是什麼？

• 把文字資訊轉化為人們可利用的知識。

舉例來說，下面的圖表利用文字挖掘技術對庫克iphoneX 釋出會的內容進行分析，得出此次釋出會報告中的幾個常青詞彙、詞頻的趨勢變化情況。

（一）語料庫（Corpus）

在python中，如何根據以往的文件檔案搭建一個語料庫？

1.什麼是語料庫

語料庫是我們要分析的所有文件的集合。

在日常工作中我們對文章的管理，先是一篇篇的文章不斷的積累，我們存了大量的文章之後，會對文章資訊進行一些歸類的工作，一般體現於建立不同的資料夾來儲存不同類別的文章。

同樣的，我們把我們需要分析的文字檔案，讀取記憶體變數中，然後在記憶體變數中使用不同的資料結構，對這些文字檔案進行儲存，以便進行下一步的分析。

這個記憶體變數就是語料庫

2.語料庫構建實操

我們通過一個案例來了解語料庫構建的過程。
這裡，jacky為了分享，整理了一份iphone8釋出後，主流新聞網站評論的語料資料。

我存放iphone 語義資料夾的路
file:///Users/apple/Downloads/Iphone8
如果是windows系統要替換成響應的路徑。

1) 如何把語料資料作為語料庫匯入到記憶體中

# -*- coding:utf-8 -*-
import
 
 os
import os.path
import codecs
filePaths=[]
fileContents=[]
for root,dirs,files in os.walk('Users/apple/Documents/Iphone8'):
    for name in files:
        filePath=os.path.join(root,name)
        filePaths.append(filePath)
        f=codecs.open(filePath,'r','utf-8')
        fileContent=f.read()
        f.close()
        fileContents.append(fileContent)

import
 
 pandas
corpos=pandas.DataFrame({
    'filePath':filePaths,
    'fileContent':fileContents
})

上述程式碼註解：

把一個資料夾中，包括巢狀資料夾的全路徑，讀入到一個記憶體變數中，我們定義為filePaths陣列變數，接著使用os中walk方法，傳入這個目錄作為引數，就可以遍歷該檔案中的所有檔案了
for root,dirs,files in os.walk中root為檔案目錄，dirs為root目錄下的所有子目錄，root目錄下的所有檔案，我們命名為files，然後進行遍歷。
為了拿到root目錄下的所有檔案，我們再次便利所有的檔案（程式碼：for name in files:）把它追加到filePaths變數中去即可。
os.path.join是拼接檔案路徑的方法，因為檔案路徑在windows,mac,linux中的寫法是不同的，使用這個方法可以解決在不同系統中使用檔案路徑要使用不同方法的問題。
最後組建資料框pandas.DataFrame

我們可以print(corpos)

（二）中文分詞（Chinese Word Segmentation）

1.中文分詞

英文中單詞是以空格作為自然分界符，而中文只是字句和段，能夠通過明顯的分界符簡單化簡，唯獨詞沒有一個明顯的分界符

• 將一個漢字序列切分成一個一個單獨的詞

  • 我是資料分析部落的發起人 —-> 我／是／資料／分析／部落／的／發起人（@資料分析-jacky）

2.停用詞（Stop Words）

對文章進行分詞後，會產生大量的分詞，這些分詞中並不是每個詞都有用的，在我們進行資料處理時，要過濾掉某些字或詞

• 氾濫的詞：如web,網站等；

• 語氣助詞、副詞、介詞、連線詞等：如的、地、得

3.分詞模組－jieba分詞包

分詞包有很多，jieba分詞包是效率高，最簡單的分詞包

1）jieba基本使用方法－cut方法

import jieba
for w in jieba.cut('我是資料分析－jacky'):
    print(w)

下面是“分詞屆”最奇葩，也是最津津樂道的分詞難題：

工信處女幹事
每月經過下屬科室都要親口交代
24口交換機等技術性器件的安裝工作

import jieba
for w in jieba.cut('''
工信處女幹事 
每月經過下屬科室都要親口交代 
24口交換機等技術性器件的安裝工作

'''):
    print(w)

jieba在沒有使用自定義分詞的情況下，只使用預設詞庫，效果還是非常好的。

2）匯入詞庫

雖然jieba包已經有預設詞庫，一般場景使用不會出現什麼問題，但是我們要是把分詞的功能用於專業的場景，會出現什麼狀況呢？

# -*- coding:utf-8 -*-
import jieba
seg_list = jieba.cut('天馬流星拳和廬山升龍霸哪個更牛逼呢？')
for w in seg_list:
    print(w)

import jieba
jieba.add_word('天馬流星拳')
jieba.add_word('廬山升龍霸')
jieba.add_word('牛逼')
seg_list = jieba.cut('天馬流星拳和廬山升龍霸哪個更牛逼呢？')
for w in seg_list:
    print(w)

• 我們增加了自定義分詞，明顯增加了分詞效果
• 但是我們要處理的分詞很多，使用一個個匯入的方法就顯得非常不高效了，我們可以使用load_userdict方法一次匯入使用者自定義詞庫中

jieba.load_userdict('路徑／聖鬥士招數.txt')

掌握了對單個字串進行分詞後，我們就可以對大量的文字進行分詞了，用load_userdict一次性匯入自定義詞庫中

3） 與語料庫結合的實操案例

# -*- coding:utf-8 -*-
#搭建預料庫
import os
import os.path
import codecs
filePaths=[]
fileContents=[]
for root,dirs,files in os.walk('Iphone8'):
    for name in files:
        filePath=os.path.join(root,name)
        filePaths.append(filePath)
        f=codecs.open(filePath,'r','GB2312')
        fileContent=f.read()
        f.close()
        fileContents.append(fileContent)

import pandas
corpos=pandas.DataFrame({
    'filePath':filePaths,
    'fileContent':fileContents
})

#每個分詞後面都要跟著一個資訊，那就是這個分詞來源是哪篇文章
#因此，我們的結果除了分詞，還需要指明分詞的出處，以便進行後續的分析
import jieba
segments=[]
filePaths=[]
#接下來，遍歷所有文章,使用資料框的方法，我們獲取到語料庫的每行資料，這樣遍歷得到的行是一個字典，
#列名index作為key,於是我們可以通過列名，使用字典的值的獲取方法，獲取到檔案路徑filePath，和檔案內容fileContent

for index,row in corpos.iterrows():
    filePath=row['filePath']
    fileContent=row['fileContent']
    #接著呼叫cut方法，對檔案內容進行分詞
    segs=jieba.cut(fileContent)
    #接著遍歷每個分詞，和分詞對應的檔案路徑一起，把它加到兩列中
    for seg in segs:
        segments.append(seg)
        filePaths.append(filePath)

#最後我們把得到的結果存在一個數據框中
segmentDataFrame=pandas.DataFrame({
    'segment':segments,
    'filePath':filePaths
})

print(segmentDataFrame)

（三）文字挖掘的入口－詞頻統計

1.詞頻

• 某個詞在該文件中出現的次數

• 用詞頻這個指標來做應用的時候，並不會給定特定的詞，而是計算機先對文章進行分詞，然後對所得到的所有分詞進行詞頻統計，然後看看哪些詞在文章中經常出現。

2.如何使用Python進行詞頻統計

接著說上面Iphone8釋出會語料庫的案例，我們已經把語料庫搭建好，對語料庫進行了分詞，上面的案例我們得到了一列為分詞（segment）,一列為分詞所屬檔案（filePath）的資料框，接下來我們進行詞頻統計就非常簡單了

我們使用分組統計函式，直接在分詞變數資料框後呼叫groupby方法，使用分詞欄位進行分組，然後聚合函式使用numpy.size函式，也就是對分組欄位做一個計數，最後重新設定索引[‘segment’]，在根據計算進行倒序排列，得到的結果就是我們詞頻統計的結果了

import numpy
#進行詞頻統計
segStat=segmentDataFrame.groupby(
    by='segment'
)['segment'].agg({'計數':numpy.size}).reset_index().sort(
    columns=['計數']，
    ascending=False
)

• 這裡要特別注意的是：降序計數呼叫的方法sort函式，需要新版本的pandas庫，懶得升新版本不降序也不影響後續的處理，這裡小夥伴們可以自己處理。

接下來就是過濾停用詞：

#首先判斷分詞列裡面是否包含這些停用詞
stopwords=pandas.read_csv(
"路徑.txt",
encoding='utf-8',
index_col=False
)
#用isin方法，包含停用詞就過濾詞，用～符號取反
fSegStat=segStat[
~segStat.segment.isin(stopwords.stopword)
]

（四）生詞詞雲

#匯入WordCloud和matplotlib包
from wordcloud import WordCloud
import matplotlib.pyplot as plt

#生成一個matplot物件，傳入一個字型位置的路徑和背景顏色即可
wordcloud=WordCloud(
        font_path='字型路徑\simhei.ttf',
        background_color='black'
)
#WordCloud方法接受一個字典結構的輸入，我們前面整理出來的詞頻統計結果是資料框的形式，因此需要轉換，轉換的方法，首先把分詞設定為資料框的索引，然後在呼叫一個to_dict()的方法，就可以轉換為字典的機構
words=fSegStat.set_index('segment').to_dict()

#接著呼叫fit_words方法來呼叫我們的詞頻
wordcloud.fit_words(words['計數'])

#繪圖
plt.imshow(wordcloud)
plt.close()

（五）完整案例程式碼展示

# -*- coding:utf-8 -*-
import os
import os.path
import codecs
filePaths=[]
fileContents=[]
for root,dirs,files in os.walk('Users/apple/Documents/Iphone8'):
    for name in files:
        filePath=os.path.join(root,name)
        filePaths.append(filePath)
        f=codecs.open(filePath,'r','utf-8')
        fileContent=f.read()
        f.close()
        fileContents.append(fileContent)

import pandas
corpos=pandas.DataFrame({
    'filePath':filePaths,
    'fileContent':fileContents
})

import jieba
segments=[]
filePaths=[]
for index,row in corpos.iterrows():
    filePath=row['filePath']
    fileContent=row['fileContent']
    segs=jieba.cut(fileContent)
    for seg in segs:
        segments.append(seg)
        filePaths.append(filePath)
segmentDataFrame=pandas.DataFrame({
    'segment':segments,
    'filePath':filePaths
})

import numpy
segStat=segmentDataFrame.groupby(
    by='segment'
)['segment'].agg({'計數':numpy.size}).reset_index().sort(
    columns=['計數']，
    ascending=False
)

stopwords=pandas.read_csv(
"路徑.txt",
encoding='utf-8',
index_col=False
)
fSegStat=segStat[
~segStat.segment.isin(stopwords.stopword)
]

from wordcloud import WordCloud
import matplotlib.pyplot as plt
wordcloud=WordCloud(
        font_path='字型路徑\simhei.ttf',
        background_color='black'
)
words=fSegStat.set_index('segment').to_dict()
wordcloud.fit_words(words['計數'])
plt.imshow(wordcloud)
plt.close()

最後，我們來看看效果吧