利用Python定製個性化詞雲
一、實驗介紹
1.1 實驗內容
在新媒體時代，人們面對層出不窮的大資料，很容易陷入資訊盲區，如何有效處理和利用這些資料，成為人們急須解決的問題之一。針對文字資料，目前人們通常採用自然語言處理技術進行重要資訊的挖掘。而這些挖掘出的資訊究竟以何種方式組織起來才能方便人們進行理解、瀏覽、傳播及應用，是一個值得關注的問題。“詞雲”就是為此而誕生的。“詞雲”是對文字中出現頻率較高的“關鍵詞”予以視覺上的突出，形成“關鍵詞雲層”或“關鍵詞渲染”，從而過濾掉大量的無意義資訊，讓人看過詞雲圖片就可以抓住內容的主旨。本實驗將使用Python的wordcloud擴充套件包製作詞雲，生成圖片儲存。並介紹如何改進wordcloud
1.2 詞雲原理
詞雲的原理是對輸入的文字資料進行詞頻統計，根據詞彙出現頻率的不同，按不同比例顯示出詞彙，生成圖片。頻率高的詞彙顯示的大，頻率低的詞彙顯示的小。文字資料可以是本地資料，也可是是爬蟲動態從網路中獲取的。
1.3 實驗前期準備
下載並安裝實驗需要的擴充套件包 。無論是Windows還是Linux還是Mac，都強烈推薦安裝Anaconda,這是一個Python的科學計算包，裡面幾乎包含了常用的所有擴充套件包，不用自己費力安裝了，該軟體由Python之父帶頭維護,三個平臺同時更新。但是有些擴充套件包不包含在內需要自行安裝，本文實驗環境為python 3 。
1、安裝wordcloud擴充套件包
pip install wordcloud2、下載測試文字constitution.txt和小說《三體》I、 II、 III，連結地址如下：
http://labfile.oss.aliyuncs.com/courses/756/constitution.txt
http://labfile.oss.aliyuncs.com/courses/756/santi.txt
http://labfile.oss.aliyuncs.com/courses/756/santi2.txt
http://labfile.oss.aliyuncs.com/courses/756/santi3.txt
二、實驗步驟
2.1 簡單測試
首先我們做一個簡單的測試，程式執行時會搜尋python指令碼所在的路徑下的文字檔案“constitution.txt”，所以我們在執行指令碼前需要將這個文字放入指令碼的同級目錄下，碼如下所示。
from os import path
from wordcloud import WordCloud
d = path.dirname(__file__)
# Read the whole text.
text = open(path.join(d, 'constitution.txt')).read()
# Generate a word cloud image
wordcloud = WordCloud().generate(text)
# Display the generated image:
# the matplotlib way:
import matplotlib.pyplot as plt
plt.imshow(wordcloud)
plt.axis("off")
# lower max_font_size
wordcloud = WordCloud(max_font_size=40).generate(text)
plt.figure()
plt.imshow(wordcloud)
plt.axis("off")
plt.show()指令碼執行結果如下：
至此，我們得到了一個英文詞雲。
2.2 中文測試
我們將文字文件換成《三體》I，進行中文詞雲的生成。
from os import path
from wordcloud import WordCloud
d = path.dirname(__file__)
# Read the whole text.
#text = open(path.join(d, 'constitution.txt')).read()
text = open("santi.txt").read()
# Generate a word cloud image
wordcloud = WordCloud().generate(text)
# Display the generated image:
# the matplotlib way:
import matplotlib.pyplot as plt
plt.imshow(wordcloud)
plt.axis("off")
# lower max_font_size
wordcloud = WordCloud(max_font_size=40).generate(text)
plt.figure()
plt.imshow(wordcloud)
plt.axis("off")
指令碼執行結果如下：
出現上圖的原因是wordcloud沒有找到用於顯示漢字的字型，因此我們可以指定一個字型檔案給wordcloud，代替預設的字型顯示詞雲。系統中存在字型庫，一般在'C:\Windows\Fonts'路徑下，我們這選擇了該目錄下的simkai.ttf進行實驗。我們將simkai.ttf檔案位置作為字型引數傳遞給wordcloud。
wordcloud = WordCloud(font_path='C:\Windows\Fonts\simkai.ttf',max_font_size=40).generate(text)
此時，我們發現中文詞雲顯示正常。但是這種形式的詞雲我們是很難接受的，畢竟太醜了！接下來我們需要對該詞雲進行深加工，這就需要我們瞭解wordcloud的引數。
2.3 wordcloud引數簡單介紹
font_path : string //字型路徑，需要展現什麼字型就把該字型路徑+字尾名寫上，如：font_path = '黑體.ttf'
width : int (default=400) //輸出的畫布寬度，預設為400畫素
height : int (default=200) //輸出的畫布高度，預設為200畫素
prefer_horizontal : float (default=0.90) //詞語水平方向排版出現的頻率，預設 0.9 （所以詞語垂直方向排版出現頻率為 0.1 ）
mask : nd-array or None (default=None) //如果引數為空，則使用二維遮罩繪製詞雲。如果 mask 非空，設定的寬高值將被忽略，遮罩形狀被 mask 取代。除全白（#FFFFFF）的部分將不會繪製，其餘部分會用於繪製詞雲。如：bg_pic = imread('讀取一張圖片.png')，背景圖片的畫布一定要設定為白色（#FFFFFF），然後顯示的形狀為不是白色的其他顏色。可以用ps工具將自己要顯示的形狀複製到一個純白色的畫布上再儲存，就ok了。
scale : float (default=1) //按照比例進行放大畫布，如設定為1.5，則長和寬都是原來畫布的1.5倍。
min_font_size : int (default=4) //顯示的最小的字型大小
font_step : int (default=1) //字型步長，如果步長大於1，會加快運算但是可能導致結果出現較大的誤差。
max_words : number (default=200) //要顯示的詞的最大個數
stopwords : set of strings or None //設定需要遮蔽的詞，如果為空，則使用內建的STOPWORDS
background_color : color value (default=”black”) //背景顏色，如background_color='white',背景顏色為白色。
max_font_size : int or None (default=None) //顯示的最大的字型大小
mode : string (default=”RGB”) //當引數為“RGBA”並且background_color不為空時，背景為透明。
relative_scaling : float (default=.5) //詞頻和字型大小的關聯性
color_func : callable, default=None //生成新顏色的函式，如果為空，則使用 self.color_func
regexp : string or None (optional) //使用正則表示式分隔輸入的文字
collocations : bool, default=True //是否包括兩個詞的搭配
colormap : string or matplotlib colormap, default=”viridis” //給每個單詞隨機分配顏色，若指定color_func，則忽略該方法。
fit_words(frequencies) //根據詞頻生成詞雲（frequencies，為字典型別）
generate(text) //根據文字生成詞雲
generate_from_frequencies(frequencies[, ...]) //根據詞頻生成詞雲
generate_from_text(text) //根據文字生成詞雲
process_text(text) //將長文字分詞並去除遮蔽詞（此處指英語，中文分詞還是需要自己用別的庫先行實現，使用上面的 fit_words(frequencies) ）
recolor([random_state, color_func, colormap]) //對現有輸出重新著色。重新上色會比重新生成整個詞雲快很多。
to_array() //轉化為 numpy array
to_file(filename) //輸出到檔案
針對於如何讓詞雲顯示的更清晰，對一些引數進行詳細的分析。
mask：遮罩圖，字的大小布局和顏色都會依據遮罩圖生成。其實理論上這對字大小和清晰程度的影響不大， 但是遮罩圖色和背景色background_color如果易混淆，則可能是一個導致看起來不清晰的因素； 另外遮罩圖自身各個顏色之間的對比不強烈，也可能使圖看起來層次感不夠。 比如，一些圖明度比較高，再加上背景白色，有可能導致字色太淺（背景色background_color又是白色）於是看起來不夠“清晰”。
background_color：背景色，預設黑。 這個本來其實也不怎麼影響清晰度，但是，就像之前在mask中提到的，如果遮罩影象顏色過淺、背景設定白色， 可能導致字看起來“不清晰”。而實際上，我對一個淺色遮罩圖分別用白、黑兩種背景色後發現， 黑色背景的強烈對比之下會有若干很淺也很小的詞浮現出來，而之前因背景色、字色過於相近而幾乎無法用肉眼看出這些詞。
mode：預設“RGB”。根據說明文件，如果想設定透明底色的雲詞圖，那麼可以設定
（注：background_color=None, mode="RGBA" 但是！！！實際中我嘗試設定透明背景色並沒有成功過！ 當我選取的遮罩圖是白色底時，如果background_color設定為"white"或"black"時，生成的雲詞確實是對應的“白色”“黑色”； 但是按照上述引數設定透明色時，結果出來依然是白色。 當我選取的遮罩圖是透明底時，那麼不管我background_color設定為"white"或"black"，還是None加上mode="RGBA"， 結果都是把背景部分當做黑色圖塊，自動匹配黑色的字！——也就是並沒有實現透明底的雲詞。）
max_font_size：最大字號。原始檔中也有講到，圖的生成會依據最大字號等因素去自動判斷詞的佈局。 經測試，哪怕同一個影象，只要圖本身尺寸不一樣（比如我把一個300×300的圖拉大到600×600再去當遮罩），那麼同樣的字號也是會有不同的效果。 原理想想也很自然，字號決定了字的尺寸，而圖的尺寸變了以後，最大字相對於圖的尺寸比例自然就變了。 所以，需要根據期望顯示的效果，去調整最大字號引數值。 min_font_size：最小字號。不設定的情況下，預設是4。 嘗試了設定比4大的字號，例如8、10，結果就是原本小於設定值且大於4號的詞都直接不顯示了，其它內容和未設定該值時都一樣。
relative_scaling：表示詞頻和雲詞圖中字大小的關係引數，預設0.5。 為0時，表示只考慮詞排序，而不考慮詞頻數；為1時，表示兩倍詞頻的詞也會用兩倍字號顯示。
scale：根據說明文件，當雲詞圖很大的，加大該值會比使用更大的圖更快，但值越高也會越慢（計算更復雜）。 預設值是1。實際測試中，更大的值，確實輸出影象看起來更精細（較小較淺的詞會顏色更重，也感覺清楚，大的詞差異不明顯）。
三、定製詞雲
看著我們自己方方正正的詞雲，是不是感覺太中規中矩了？都不好意思拿出手了吧？ 沒關係，我們也可以做一個不規則邊緣的詞雲！ 為了達到一個定製詞雲的效果，我們需要一個圖片作為mask，這個mask的作用就是為我們的詞雲提供一個空間，讓我們的詞雲只在這個空間裡顯示。我們的mask圖片是星github上有關於wordcloud專案的開原始碼： https://github.com/amueller/word_cloud 中所提供的，圖片是這個樣子的。
為此，我們需要修改我們的程式碼，增加圖片mask，修改後的程式碼如下：
import numpy as np
from PIL import Image
from os import path
import matplotlib.pyplot as plt
import matplotlib
import os
from wordcloud import WordCloud
d = path.dirname(__file__) if "__file__" in locals() else os.getcwd()
mask = np.array(Image.open(path.join(d, "alice_mask.png")))
text = open(path.join(d, 'santi.txt')).read()
text = text.replace(u"汪淼說", u"汪淼")
text = text.replace(u"汪淼問", u"汪淼")
text = text.replace(u"葉文潔說", u"葉文潔")
text = text.replace(u"元首說", u"元首")
wc = WordCloud(font_path='C:\Windows\Fonts\simkai.ttf',max_words=200, mask=mask, margin=10,background_color='white',
min_font_size=4,max_font_size=100,random_state=1,mode='RGBA').generate(text)
default_colors = wc.to_array()
#標題字型設定
myfont = matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simkai.ttf')
wc.to_file("a_new_hope.png")
plt.figure(figsize=(20,20))
plt.title(u"三體-詞頻統計",fontproperties=myfont,fontsize=100)
plt.imshow(default_colors, interpolation="bilinear")
plt.axis("off")
plt.show()
指令碼執行結果如下：
是不是美觀了很多~
但這跟我們定製的要求還有出入，形狀要根據咱們的要求來指定，那就要求對圖片進行處理，在這裡我用的是比較簡單的美圖秀秀。
原圖是這樣兒的~
美圖秀秀摳圖後
之後只需要將新圖傳給mask
mask = np.array(Image.open(path.join(d, "panda_new.png")))
搞定！