2. 程式人生 > >資料探勘01---文字分析（jieba分詞和詞雲繪製）

資料探勘01---文字分析（jieba分詞和詞雲繪製）

阿新 • • 發佈：2018-12-18

一、定義：

文字挖掘：從大量文字資料中抽取出有價值的知識，並且利用這些知識重新組織資訊的過程。

二、語料庫（Corpus）

語料庫是我們要分析的所有文件的集合。


import os
import os.path
 
filePaths = []  #定義一個數組變數
#再用OS.walk的方法傳入目錄
#檔案所在的檔案目錄，命名為root
#root下的所有子目錄，命名為dirs
#root下的所有檔案，命名為files
for root, dirs, files in os.walk(
    "C:\\Python_DM\\2.1\\SogouC.mini\\Sample"
):
    #進行遍歷，需要得到輸入目錄下的所有檔案
    for name in files:  #為了拿到root目錄下的所有檔案，我們再次便利所有的檔案（程式碼：for name in files:）把它追加到filePaths變數中去即可。
        filePaths.append(os.path.join(root, name)) 
"""
os.path.join,拼接檔案路徑的方法。如果沒有name，則filepaths裡面沒有xx.txt檔案，沒有root則沒有檔案目錄路徑。
"""
 
import codecs  #編碼轉換
 
filePaths = [];
fileContents = [];
for root, dirs, files in os.walk(
    "C:\\Python_DM\\2.1\\SogouC.mini\\Sample"
):
    for name in files:
        filePath = os.path.join(root, name);
        filePaths.append(filePath);
        f = codecs.open(filePath, 'r', 'utf-8') #1.檔案路徑 2.開啟方式 3.檔案編碼
        fileContent = f.read()
        f.close()
        fileContents.append(fileContent)
 
import pandas;
corpos = pandas.DataFrame({
    'filePath': filePaths, 
    'fileContent': fileContents
})

二、中文分詞

2.1概念：

中文分詞（Chinese Word Segmentation）：將一個漢字序列切分成一個一個單獨的詞。

eg：我的家鄉是廣東省湛江市–>我/的/家鄉/是/廣東省/湛江市

停用詞（Stop Words）：
資料處理時，需要過濾掉某些字或詞
√氾濫的詞，如web、網站等。

√語氣助詞、副詞、介詞、連線詞等，如 的，地，得；

2.2安裝Jieba分詞包：

最簡單的方法是用CMD直接安裝：輸入pip install jieba，但是我的電腦上好像不行。

後來在這裡：https://pypi.org/project/jieba/#files下載了jieba0.39解壓縮後

放在Python36\Lib\site-packages裡面，然後在用cmd，pip install jieba 就下載成功了，不知道是是什麼原因。

然後我再anaconda 環境下也安裝了jieba，先在Anaconda3\Lib這個目錄下將jieba0.39的解壓縮檔案放在裡面，然後在Anaconda propt下輸入 pip install jieba，如下圖：

2.3程式碼實戰：

jieba最主要的方法是cut方法：

jieba.cut方法接受兩個輸入引數: 1) 第一個引數為需要分詞的字串 2）cut_all引數用來控制是否採用全模式

jieba.cut_for_search方法接受一個引數：需要分詞的字串,該方法適合用於搜尋引擎構建倒排索引的分詞，粒度比較細

注意：待分詞的字串可以是gbk字串、utf-8字串或者unicode

jieba.cut以及jieba.cut_for_search返回的結構都是一個可迭代的generator，可以使用for迴圈來獲得分詞後得到的每一個詞語(unicode)，也可以用list(jieba.cut(…))轉化為list程式碼示例( 分詞 )

import jieba;

for w in jieba.cut(“我愛Python”):
print(w)
輸出結果為：
我
愛
Python

for w in jieba.cut("""
工信處女幹事
每月經過下屬科室都要親口交代
24口交換機等技術性器件的安裝工作
“”"):
print(w)
工信處
女幹事

每月
經過
下屬
科室
都
要
親口

交代

24
口
交換機
等
技術性
器件
的
安裝

工作

分詞功能用於專業的場景：

import jieba;
seg_list = jieba.cut(
“真武七截陣和天罡北斗陣哪個更厲害呢？”
)
for w in seg_list:
print(w)
會出現真武七截陣和天罡北斗陣被分成幾個詞。為了改善這個現象，我們用匯入詞庫的方法。
import jieba;
jieba.add_word(‘真武七截陣’)#新增詞庫
jieba.add_word(‘天罡北斗陣’)
seg_list = jieba.cut(
“真武七截陣和天罡北斗陣哪個更厲害呢？”
)
for w in seg_list:
print(w)
但是，如果需要匯入的單詞很多，jieba.add_word()這樣的新增詞庫的方法就不高效了。

我們可以用jieba.load_userdict(‘D:\PDM\2.2\金庸武功招式.txt’)方法一次性匯入整個詞庫，txt檔案中為每行一個特定的詞。

2.3.1對大量文章進行分詞

先搭建語料庫：

分詞後我們需要對資訊處理，就是這個分詞來源於哪個文章。

三、詞頻統計

3.1詞頻（Term Frequency）：

某個詞在該文件中出現的次數。

3.2利用Python進行詞頻統計

# -*- coding: utf-8 -*-
"""搭建語料庫，及分詞"""
import os
import os.path
import codecs
 
filePaths = []
fileContents = []
for root, dirs, files in os.walk(
    "C:\\Python_DM\\2.1\\SogouC.mini\\Sample"
):
    for name in files:
        filePath = os.path.join(root, name)
        filePaths.append(filePath);
        f = codecs.open(filePath, 'r', 'utf-8')
        fileContent = f.read()
        f.close()
        fileContents.append(fileContent)
 
import pandas;
corpos = pandas.DataFrame({
    'filePath': filePaths, 
    'fileContent': fileContents
});
 
import jieba
 
segments = []
filePaths = []
for index, row in corpos.iterrows():
    filePath = row['filePath']
    fileContent = row['fileContent']
    segs = jieba.cut(fileContent)
    for seg in segs:
        segments.append(seg)
        filePaths.append(filePath)
 
segmentDataFrame = pandas.DataFrame({
    'segment': segments, 
    'filePath': filePaths
})
 
"""filepath一直沒變，對fileContents進行了分詞，賦值如segment."""
 
 
import numpy
#進行詞頻統計        
segStat = segmentDataFrame.groupby( #呼叫groupby方法
            by="segment"
        )["segment"].agg({
            "計數":numpy.size
        }).reset_index().sort_values(#重新設定索引
            by=['計數'],
            ascending=False#倒序排序
        )
"""排在前面的為停用詞"""
 
#移除停用詞
stopwords = pandas.read_csv(
    "C:\\Python_DM\\2.3\\StopwordsCN.txt", 
    encoding='utf8', 
    index_col=False
)
 
#獲得沒有停用詞的詞頻統計結果
fSegStat = segStat[
    ~segStat.segment.isin(stopwords.stopword)
]#'~'取反，不包含停用詞的留下。
3.2.1移除停用詞的另一種方法，加if判斷

import os
import os.path
import codecs
 
filePaths = []
fileContents = []
for root, dirs, files in os.walk(
    "C:\\Python_DM\\2.1\\SogouC.mini\\Sample"
):
    for name in files:
        filePath = os.path.join(root, name)
        filePaths.append(filePath);
        f = codecs.open(filePath, 'r', 'utf-8')
        fileContent = f.read()
        f.close()
        fileContents.append(fileContent)
 
import pandas;
corpos = pandas.DataFrame({
    'filePath': filePaths, 
    'fileContent': fileContents
});
import jieba
 
segments = []
filePaths = []
for index, row in corpos.iterrows():
    filePath = row['filePath']
    fileContent = row['fileContent']
    segs = jieba.cut(fileContent)
    for seg in segs:#下面加一個判斷，如果不在分詞中就加入進分組，加一個條件：分詞去除空格後的長度大於0
        if seg not in stopwords.stopword.values and len(seg.strip())>0:
            segments.append(seg)
            filePaths.append(filePath)
 
segmentDataFrame = pandas.DataFrame({
    'segment': segments, 
    'filePath': filePaths
});
 
segStat = segmentDataFrame.groupby(
            by="segment"
        )["segment"].agg({
            "計數":numpy.size
        }).reset_index().sort_values(
            by=["計數"],
            ascending=False
        );
程式碼中用到的一些常用方法：

分組統計：

DataFrame.groupby(
by=列名陣列)[統計列明陣列].agg({
‘統計項名稱’:統計函式
})
判斷一個數據框中的某一列的值是否包含一個數組中的任意一個值：
DataFrame.列名.isin(陣列)
取反：（對布林值）
df[~df.列名.isin(陣列)]
四、詞雲繪製
詞雲（Word Cloud）：是對文字中詞頻較高的分詞，給與視覺上的突出，形成“關鍵詞渲染”，從而國旅掉大量的文字資訊，使瀏覽者一眼掃過就可以領略文字的主旨。

4.1安裝詞雲工具包
這個地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/ ，可以搜到基本上所有的Python庫，進去根據自己的系統和Python的版本進行下載即可。

在python下安裝很方便，在anaconda下安裝費了點勁，最終將詞雲的檔案放在C:\Users\Administrator 這個目錄下才安裝成功。

-- coding: utf-8 --

import os;
import os.path;
import codecs;

filePaths = [];
fileContents = [];
for root, dirs, files in os.walk(
“C:\Python_DM\2.4\SogouC.mini\Sample\C000007”
):
for name in files:
filePath = os.path.join(root, name);
filePaths.append(filePath);
f = codecs.open(filePath, ‘r’, ‘utf-8’)
fileContent = f.read()
f.close()
fileContents.append(fileContent)

import pandas;
corpos = pandas.DataFrame({
‘filePath’: filePaths,
‘fileContent’: fileContents
});

import jieba

segments = []
filePaths = []
for index, row in corpos.iterrows():
filePath = row[‘filePath’]
fileContent = row[‘fileContent’]
segs = jieba.cut(fileContent)
for seg in segs:
segments.append(seg)
filePaths.append(filePath)

segmentDataFrame = pandas.DataFrame({
‘segment’: segments,
‘filePath’: filePaths
});

import numpy;
#進行詞頻統計
segStat = segmentDataFrame.groupby(
by=“segment”
)[“segment”].agg({
“計數”:numpy.size
}).reset_index().sort_values(
by=[“計數”],
ascending=False
);

#移除停用詞
stopwords = pandas.read_csv(
“C:\Python_DM\2.4\StopwordsCN.txt”,
encoding=‘utf8’,
index_col=False
)

fSegStat = segStat[
~segStat.segment.isin(stopwords.stopword)
]

#繪畫詞雲
#http://www.lfd.uci.edu/~gohlke/pythonlibs/
from wordcloud import WordCloud
import matplotlib.pyplot as plt

#傳入字型檔案的路徑，還有背景顏色
#微軟雅黑的字型，黑色背景
wordcloud = WordCloud(
font_path=‘C:\Python_DM\2.4\simhei.ttf’,
background_color=“black”
)

#把分詞設定成資料框的索引，再呼叫to_dict()的方法，獲得一個字典的資料結構了。
words = fSegStat.set_index(‘segment’).to_dict()

wordcloud.fit_words(words[‘計數’])

plt.imshow(wordcloud)

#plt.close()
五、美化詞雲（詞雲放入某圖片形象中）
六、關鍵詞提取
import os
import codecs
import pandas
import jieba
import jieba.analyse #關鍵字提取方法

#定義好儲存的列陣列，抽取5個關鍵字
filePaths = []
contents = []
tag1s = []
tag2s = []
tag3s = []
tag4s = []
tag5s = []

for root, dirs, files in os.walk(
“C:\Python_DM\2.6\SogouC.mini\Sample\”
):
for name in files:
filePath = root + ‘\’ + name;
f = codecs.open(filePath, ‘r’, ‘utf-8’)
content = f.read().strip()
f.close()

    #將檔案內容（content）傳遞給extract_tags方法
    #把管家你在tags新增到對應的列中
    tags = jieba.analyse.extract_tags(content, topK=5)
    filePaths.append(filePath)
    contents.append(content)
    tag1s.append(tags[0])
    tag2s.append(tags[1])
    tag3s.append(tags[2])
    tag4s.append(tags[3])
    tag5s.append(tags[4])

tagDF = pandas.DataFrame({
‘filePath’: filePaths,
‘content’: contents,
‘tag1’: tag1s,
‘tag2’: tag2s,
‘tag3’: tag3s,
‘tag4’: tag4s,
‘tag5’: tag5s
})
結果如下:

七、關鍵詞提取實現

詞頻（Term Frequency）：

指的是某一個給定的詞在該文件中出現的次數。

計算公式： TF = 該次在文件中出現的次數

逆文件頻率（Inverse Document Frequency）

IDF就是每個詞的權重，它的大小與一個詞的常見程度成反比。

計算公式：IDF = log（文件總數/（包含該詞的文件數 - 1））

TF-IDF（Term Frequency-Inverse Document Frequency）

權衡某個分詞是否關鍵詞的指標，該值越大，是關鍵詞的可能性就越大。

計算公式：TF - IDF = TF * IDF

相關推薦

資料探勘01---文字分析（jieba分詞和詞雲繪製）

一、定義： 文字挖掘：從大量文字資料中抽取出有價值的知識，並且利用這些知識重新組織資訊的過程。 二、語料庫（Corpus） 語料庫是我們要分析的所有文件的集合。 import os import os.path filePaths = [] #定義一個數組變數 #再用

資料探勘 | 親和性分析（三）

既然統計出所有規則的支援度和置信度，那麼我們就想知道到底哪一條規則是支援度或置信度最高的，以便商家分析出顧客的習慣。首先我們要給支援度和置信度字典進行排序 這裡需要用到operator模組的itemgetter函式 # 對支援度字典進行排序 from oper

資料探勘 | 親和性分析（二）

上回講了親和性分析的簡單分析，但只計算了一條規則的支援度和置信度，現在來說說怎麼計算所有規則的支援度和置信度 首先先建立字典，分別建立有效規則字典、無效規則字典以及條件相同的規則數量 # 建立字典，儲存規則有效資料及無效資料 from collection

資料探勘 | 親和性分析（一）

首先解釋一下什麼是親和性 舉一個簡單的例子：當顧客在購買一件商品時，往往還會購買另一件商品。比如我們買了麵包就還會買牛奶，買了刀就還會買叉子等等。也就是說，顧客買了商品A，還會購買商品B，這就是親和性的簡單例子 那麼，親和性分析就是對這種規律進行分析，商家就

基於R的資料探勘方法與實踐（3）——決策樹分析

決策樹構建的目的有兩個——探索與預測。探索方面，參與決策樹聲場的資料為訓練資料，待樹長成後即可探索資料所隱含的資訊。預測方面，可以藉助決策樹推匯出的規則預測未來資料。由於需要考慮未來資料進入該模型的分類表現，因此在基於訓練資料構建決策樹之後，可以用測試資料來衡量該模型的穩健

資料探勘之關聯分析一（基本概念）

許多商業企業運營中的大量資料，通常稱為購物籃事務（market basket transaction）。表中每一行對應一個事務，包含一個唯一標識TID。 利用關聯分析的方法可以發現聯絡如關聯規則或頻繁項集。 關聯分析需要處理的關鍵問題： 1. 從大型事

資料探勘之關聯分析二（頻繁項集的產生）

頻繁項集的產生 格結構（lattice structure）常常用來表示所有可能的項集。 發現頻繁項集的一個原始方法是確定格結構中每個候選項集的支援度。但是工作量比較大。另外有幾種方法可以降低產生頻繁項集的計算複雜度。 1. 減少候選項集的數目。如先驗

資料探勘之關聯分析五（序列模式）

購物籃資料常常包含關於商品何時被顧客購買的時間資訊，可以使用這種資訊，將顧客在一段時間內的購物拼接成事務序列，這些事務通常基於時間或空間的先後次序。 問題描述 一般地，序列是元素（element）的有序列表。可以記做s=(e1,e2,⋯,en)，其中

資料探勘入門系列教程（一）之親和性分析

資料探勘入門系列教程（一）之親和性分析 教程系列簡介 系列地址：https://www.cnblogs.com/xiaohuiduan/category/1661541.html 該教程為入門教程，為博主學習資料探勘的學習路徑步驟。教程為入門教程，從最簡單的開始。使用的程式語言為Pytho

資料探勘入門系列教程（七）之樸素貝葉斯進行文字分類

資料探勘入門系列教程（七）之樸素貝葉斯進行文字分類 貝葉斯分類演算法是一類分類演算法的總和，均以貝葉斯定理為基礎，故稱之為貝葉斯分類。而樸素貝葉斯分類演算法就是其中最簡單的分類演算法。 樸素貝葉斯分類演算法 樸素貝葉斯分類演算法很簡單很簡單，就一個公式如下所示： P(B|A) = \frac{P(A|B) P

資料分析與資料探勘 - 01入門介紹

### 一 資料分析的定義 資料分析就是用合適的方法來發揮出資料的最大價值，這是一門結合了統計學，高等數學，工程學，商業決策等知識的技能，其中高等數學，工程學和統計學這些都是硬技能，而商業決策是屬於軟技能，資料分析師就是具備這些技能的崗位。資料分析師也有所側重點，有的人是商業出身，偏向於商業領域，有的人是統計

資料探勘——時間序列分析

時間序列分析 一、 概念 時間序列（Time Series） 時間序列是指同一統計指標的數值按其發生的時間先後順序排列而成的數列（是均勻時間間隔上的觀測值序列）。 時間序列分析的主要目的是根據已有的歷史資料對未來進行預測。 時間序列分析主要包括的內容有：趨勢分析、序列分解、序列預測。  

【Mark Schmidt課件】機器學習與資料探勘——主元分析PCA

本課件主要內容包括： 上次課程回顧：MAP估計 人類 vs. 機器感知 隱因子模型 向量量化 向量量化 vs. PCA 主元分析PCA的應用 PCA目標函式 英文原文課件下載地址： h

資料探勘 R 迴歸分析

List item 迴歸分析是統計的核心，通常指使用一個或多個預測變數來預測響應變數。 迴歸分析也通常選擇與響應變數有關的變數來作為解釋變數，以此來描述兩者之間的關係。也可以生成一個等式，用解釋變數來解釋響應變數。 在R 中封裝了lm()函式來實現單變數，多變量回歸。 R中符號的說明

【機器學習】資料探勘演算法——關聯規則（一），相關概念，評價指標

綜述：        資料探勘是指以某種方式分析資料來源，從中發現一些潛在的有用的資訊，所以資料探勘又稱作知識發現，而關聯規則挖掘則是資料探勘中的一個很重要的課題，顧名思義，它是從資料背後發現事物之間可能存在的關聯或者聯絡。 關聯規則的目的在於在一個數據集中找出項之間的關

【機器學習】資料探勘演算法——關聯規則（二），挖掘過程，Aprioir演算法

關聯規則挖掘的原理和過程 從關聯規則（一）的分析中可知，關聯規則挖掘是從事務集合中挖掘出這樣的關聯規則：它的支援度和置信度大於最低閾值（minsup,minconf），這個閾值是由使用者指定的。根據 support=(X,Y).count/T.countsupp

資料探勘導論學習筆記（一）

第一章 緒論 資料探勘：在大型資料儲存庫中，自動的發現有用資訊的過程。 資料庫中知識發現過程（KDD）： 輸入資料—>資料預處理---->資料探勘---->後處理---->資訊 資料預處理：特徵選擇，維規約，規範集，選擇資料子集 後處理：

基於R的資料探勘方法與實踐（1）——資料準備

1、資料檢查 資料檢查是資料探勘的第1步，從不同的維度檢查資料，找出其中有問題的資料以便對其進行修正。 1.1 資料型別 檢視資料的構成與形態，尤其是各列的屬性。 > library(MASS) > data(ChickWeight) > str(Chic

資料探勘十大演算法（一）：決策樹演算法 python和sklearn實現

學完到第三章——決策樹，python程式碼實現的僅是ID3演算法，sklearn為優化過的C4.5，這裡做一個詳細的總結包括（原理、程式碼、視覺化、scikit-learn實現），皆為親自實踐後的感悟。以下進入正文。 早前簡單瞭解了決策樹的原理，然後為了儘快使用便沒有深究直

基於.NET實現資料探勘--聚類分析演算法

http://www.cnblogs.com/captain_ccc/articles/4093615.html 本篇文章主要採用另外一種分析演算法對目標顧客群體的挖掘，同樣的利用微軟案例資料進行簡要總結。 應用場景介紹 通過上一篇中我們採用Microsoft決策