前面幾節說一些沉悶的概念，你若看了估計已經心生厭倦，我也是。所以，找到了一個理由來說一個有興趣的話題，就是資料分析。是什麼理由呢？就是，機器學習的處理過程中，資料分析是經常出現的操作。就算機器對大量樣本預測了結果，那對結果進行資料分析與展示，也是經常遇到的標準作業，所以，這一次，來看看怎麼做到資料分析的。

在python提供的模組中，pandas，是一個實用的資料分析的工具。說到pandas，我就想起“機動部隊”裡面的pandas（熊貓），一道綠光。

本文結合微信好友的資料，介紹如何使用pandas進行資料分析。

資料分析之前，先得有資料，這裡使用小程的微信好友的資料進行分析。

（一）獲取微信好友的資料

為了獲取微信好友的資料，需要使用一個工具，叫itchat。itchat是網頁微信介面的封裝，在工具篇，小程介紹過如何給微信群自動地傳送（批量）訊息，用的就是itchat。

這裡直接介紹使用itchat獲取微信好友的資訊。

試驗一下，先算一下小程有多少異性朋友吧，可以這樣寫程式碼：

執行這段程式碼，可以看到這樣的輸出：

為了後續的資料分析，接下來，小程提取更具體的好友資料，並儲存到檔案，這裡面用到了pandas。

如果你沒有安裝pandas，那可以這樣安裝（假設你是mac系統）：

pip install pandas

以下是獲取好友資料的程式碼：

執行這段程式碼，在本地生成了一個檔案：friends_info.csv，csv檔案一般是純文字，用來儲存記錄的檔案（一般所有記錄都有相同的欄位）。

用excel開啟這個csv檔案，可以看到這樣的資訊（如果你發現excel開啟會亂碼，那可以先用word並選擇用utf8來開啟，然後再儲存，之後再用excel開啟）：

這個csv檔案的內容，就是後續資料分析的基礎。

（二）分析資料

有了基礎資料之後，就可以使用pandas進行分析，並用matplotlib進行繪圖。matplotlib是繪圖的實用工具，小程另找機會詳細介紹，你可以先不管這部分內容，或者先簡單瞭解，因為程式碼截圖中有相應的解釋。

這裡演示對微信好友的性別與地區進行資料分析。

（1）引入pandas與matplotlib

引入pandas與matplotlib的程式碼，以及程式碼的執行效果是這樣的：

（2）分析性別

這裡根據性別種類的個數，繪製條形圖。

先來看分析性別與繪製的程式碼，截圖中的解釋是重點內容：

執行這段程式碼，可以看到這樣的輸出與顯示：

由展示圖可見，小程的朋友以男性居多。

（3）分析地區

實現的思路跟性別分析類似，程式碼如下：

執行的效果如下：

由展示圖可見，小程的朋友以廣州跟深圳為主，小程的朋友圈很窄。

以上介紹了怎麼分析性別與地區的分佈資料，其中pandas的使用是本文的重點。

以上的程式碼中，用到了pandas的DataFrame跟Series型別，也用到了Series的統計函式max。接下來，對pandas的知識再做一個簡單的介紹。

（三）pandas的知識

pandas的資料，有兩個型別。一個是DataFrame，一個是Series。

DataFrame就是一個數據表（由若干列組成），而Series就是其中的一列（一個欄位的所有內容）。對於DataFrame或Series變數，有各種函式，可以完成資料分析，包括：個數、最大值、最小值、平均值、中位數、眾數、方差、峰值，等等。

對於pandas的詳細理解，可以參考這個文件：http://pandas.pydata.org/pandas-docs/stable/index.html

你也可以邊用邊學，誰用誰研究。

至此，主要內容已經介紹完畢，以下是一個好玩的詞雲圖分析，只是附帶內容。

---

（三）詞雲圖

小程拿到的好友資訊中，包括了“簽名”這項內容，一般來說，可以弄個詞雲圖來看看簽名的重點資訊。

安裝模組jieba，這是一個支援中文的分詞器：

pip install jieba

安裝模組PIL，這是一個影象處理庫：

pip install Pillow

安裝wordcloud，這是一個詞雲圖庫：

pip install wordcloud

實現微信好友的簽名的詞雲圖，大概的思路是這樣的：使用pandas從基礎資料中讀取到一個數據表，從資料表中拿到簽名的列並把這一列的內容轉換成list，對簽名list的每個簽名逐一處理，過濾掉一些關鍵詞，再使用正則表示式把一些特殊字元去除掉，最後把處理後的簽名用空格拼接在一起，並呼叫分詞器進行分詞處理，得到一個分詞list。建立詞雲圖物件，設定背景顏色、字型等，並傳遞分詞list，最終顯示並儲存詞雲圖物件生成的影象。

實現的程式碼，請參考下圖：

執行這段程式碼，可以看到這樣的效果：

由圖可見，小程的好友很有個性（喜歡說“自己”），小程的好友跟“程式”分不開，小程的好友已經開始聊人生與合作了（估計年紀比較大了）。

在生成詞雲圖時，設定了背景圖（back.jpg），小程這裡使用的是這張圖：

設定不同的背景圖跟顏色等屬性，會有不同的效果，你可以嘗試一下，這裡不細說了。

---

總結一下，本文以微信好友的資訊為資料基礎，使用pandas進行了資料分析。pandas是機器學習處理過程中經常使用的工具，有所理解是有必要的。文章最後順帶演示了詞雲圖的生成。

---

相關推薦