本文為你展示，如何用Python把許多PDF檔案的文字內容批量提取出來，並且整理儲存到資料框中，以便於後續的資料分析。

問題

最近，讀者們在後臺的留言，愈發五花八門了。

寫了幾篇關於自然語言處理的文章後，一種呼聲漸強：

pdf中的文字內容，有沒有什麼方便的方法提取出來呢？

我能體會到讀者的心情。

我展示的例子中，文字資料都是直接可以讀入資料框工具做處理的。它們可能來自開放資料集合、網站API，或者爬蟲。

但是，有的時候，你會遇到需要處理指定格式資料的問題。

例如pdf。

許多的學術論文、研究報告，甚至是資料分享，都採用這種格式釋出。

這時候，已經掌握了諸多自然語言分析工具的你，會頗有“拔劍四顧心茫然”的感覺——明明知道如何處理其中的文字資訊，但就是隔著一個格式轉換的問題，做不來。

怎麼辦？

辦法自然是有的，例如專用工具、線上轉換服務網站，甚至還可以手動複製貼上嘛。

但是，咱們是看重效率的，對不對？

上述辦法，有的需要在網上傳輸大量內容，花費時間較多，而且可能帶來安全和隱私問題；有的需要專門花錢購買；有的乾脆就不現實。

怎麼辦？

好訊息是，Python就可以幫助你高效、快速地批量提取pdf文字內容，而且和資料整理分析工具無縫銜接，為你後續的分析處理做好基礎服務工作。

 

資料

為了更好地說明流程，我為你準備好了一個壓縮包。

裡面包括本教程的程式碼，以及我們要用到的資料。

請你到 這個網址 下載本教程配套的壓縮包。

下載後解壓，你會在生成的目錄（下稱“演示目錄”）裡面看到以下內容。

演示目錄裡面包含：

• Pipfile: pipenv 配置檔案，用來準備咱們變成需要用到的依賴包。後文會講解使用方法；
• pdf_extractor.py: 利用pdfminer.six編寫的輔助函式。有了它你就可以直接呼叫pdfminer提供的pdf文字內容抽取功能，而不必考慮一大堆惱人的引數；
• demo.ipynb: 已經為你寫好的本教程 Python 原始碼 （Jupyter Notebook格式）。

另外，演示目錄中還包括了2個資料夾。

這兩個資料夾裡面，都是中文pdf檔案，用來給你展示pdf內容抽取。

pdf資料夾內容如下：

newpdf資料夾內容如下：

 

 

程式碼

首先，我們讀入一些模組，以進行檔案操作。

import glob
import os

前文提到過，演示目錄下，有兩個資料夾，分別是pdf和newpdf。

我們指定 pdf 檔案所在路徑為其中的pdf資料夾。

pdf_path = "pdf/"

我們希望獲得所有 pdf 檔案的路徑。用glob，一條命令就能完成這個功能。

pdfs = glob.glob("{}/*.pdf".format(pdf_path))

看看我們獲得的 pdf 檔案路徑是否正確。

pdfs

['pdf/複雜系統模擬的微部落格虛假資訊擴散模型研究.pdf',
 'pdf/面向影子分析的社交媒體競爭情報蒐集.pdf',
 'pdf/面向人機協同的移動網際網路政務門戶探析.pdf']

經驗證。準確無誤。

下面我們利用 pdfminer 來從 pdf 檔案中抽取內容。我們需要從輔助 Python 檔案 pdf_extractor.py 中讀入函式 extract_pdf_content。

from pdf_extractor import extract_pdf_content

用這個函式，我們嘗試從 pdf 檔案列表中的第一篇裡，抽取內容，並且把文字儲存在 content 變數裡。

content = extract_pdf_content(pdfs[0])

我們看看 content 裡都有什麼：

content

顯然，內容抽取並不完美，頁首頁尾等資訊都混了進來。

不過，對於我們的許多文字分析用途來說，這無關緊要。

你會看到 content 的內容裡面有許多的 \n，這是什麼呢？

我們用 print 函式，來顯示 content 的內容。

print(content)

可以清楚看到，那些 \n 是換行符。

通過一個 pdf 檔案的抽取測試，我們建立了信心。

下面，我們該建立辭典，批量抽取和儲存內容了。

mydict = {}

我們遍歷 pdfs 列表，把檔名稱（不包含目錄）作為鍵值。這樣，我們可以很容易看到，哪些pdf檔案已經被抽取過了，哪些還沒有抽取。

為了讓這個過程更為清晰，我們讓Python輸出正在抽取的 pdf 檔名。

for pdf in pdfs:
    key = pdf.split('/')[-1]
    if not key in mydict:
        print("Extracting content from {} ...".format(pdf))
        mydict[key] = extract_pdf_content(pdf)

抽取過程中，你會看到這些輸出資訊：

Extracting content from pdf/複雜系統模擬的微部落格虛假資訊擴散模型研究.pdf ...
Extracting content from pdf/面向影子分析的社交媒體競爭情報蒐集.pdf ...
Extracting content from pdf/面向人機協同的移動網際網路政務門戶探析.pdf ...

看看此時字典中的鍵值都有哪些：

mydict.keys()

dict_keys(['複雜系統模擬的微部落格虛假資訊擴散模型研究.pdf', '面向影子分析的社交媒體競爭情報蒐集.pdf', '面向人機協同的移動網際網路政務門戶探析.pdf'])

一切正常。

下面我們呼叫pandas，把字典變成資料框，以利於分析。

import pandas as pd

下面這條語句，就可以把字典轉換成資料框了。注意後面的reset_index()把原先字典鍵值生成的索引也轉換成了普通的列。

df = pd.DataFrame.from_dict(mydict, orient='index').reset_index()

然後我們重新命名列，以便於後續使用。

df.columns = ["path", "content"]

此時的資料框內容如下：

df

可以看到，我們的資料框擁有了pdf檔案資訊和全部文字內容。這樣你就可以使用關鍵詞抽取、情感分析、相似度計算等等諸多分析工具了。

篇幅所限，我們這裡只用一個字元數量統計的例子來展示基本分析功能。

我們讓 Python 幫我們統計抽取內容的長度。

df["length"] = df.content.apply(lambda x: len(x))

此時的資料框內容發生以下變化：

df

多出的一列，就是 pdf 文字內容的字元數量。

為了在 Jupyter Notebook 裡面正確展示繪圖結果，我們需要使用以下語句：

%matplotlib inline

下面，我們讓 Pandas 把字元長度一列的資訊用柱狀圖標示出來。為了顯示的美觀，我們設定了圖片的長寬比例，並且把對應的pdf檔名稱以傾斜45度來展示。

import matplotlib.pyplot as plt
plt.figure(figsize=(14, 6))
df.set_index('path').length.plot(kind='bar')
plt.xticks(rotation=45)

視覺化分析完成。

下面我們把剛才的分析流程整理成函式，以便於將來更方便地呼叫。

我們先整合pdf內容提取到字典的模組：

def get_mydict_from_pdf_path(mydict, pdf_path):
    pdfs = glob.glob("{}/*.pdf".format(pdf_path))
    for pdf in pdfs:
        key = pdf.split('/')[-1]
        if not key in mydict:
            print("Extracting content from {} ...".format(pdf))
            mydict[key] = extract_pdf_content(pdf)
    return mydict

這裡輸入是已有詞典和pdf資料夾路徑。輸出為新的詞典。

你可能會納悶為何還要輸入“已有詞典”。彆著急，一會兒我用實際例子展示給你看。

下面這個函式非常直白——就是把詞典轉換成資料框。

def make_df_from_mydict(mydict):
    df = pd.DataFrame.from_dict(mydict, orient='index').reset_index()
    df.columns = ["path", "content"]
    return df

最後一個函式，用於繪製統計出來的字元數量。

def draw_df(df):
    df["length"] = df.content.apply(lambda x: len(x))
    plt.figure(figsize=(14, 6))
    df.set_index('path').length.plot(kind='bar')
    plt.xticks(rotation=45)

函式已經編好，下面我們來嘗試一下。

還記得演示目錄下有個子目錄，叫做newpdf對吧？

我們把其中的2個pdf檔案，移動到pdf目錄下面。

這樣pdf目錄下面，就有了5個檔案：

我們執行新整理出的3個函式。

首先輸入已有的詞典（注意此時裡面已有3條記錄），pdf資料夾路徑沒變化。輸出是新的詞典。

mydict = get_mydict_from_pdf_path(mydict, pdf_path)

Extracting content from pdf/微部落格 Twitter 的企業競爭情報蒐集.pdf ...
Extracting content from pdf/移動社交媒體使用者隱私保護對策研究.pdf ...

注意這裡的提示，原先的3個pdf檔案沒有被再次抽取，只有2個新pdf檔案被抽取。

咱們這裡一共只有5個檔案，所以你直觀上可能無法感受出顯著的區別。

但是，假設你原先已經用幾個小時，抽取了成百上千個pdf檔案資訊，結果你的老闆又丟給你3個新的pdf檔案……

如果你必須從頭抽取資訊，恐怕會很崩潰吧。

這時候，使用咱們的函式，你可以在1分鐘之內把新的檔案內容追加進去。

這差別，不小吧？

下面我們用新的詞典，構建資料框。

df = make_df_from_mydict(mydict)

我們繪製新的資料框裡，pdf抽取文字字元數量。結果如下：

draw_df(df)

 

小結

總結一下，本文為你介紹了以下知識點：

• 如何用glob批量讀取目錄下指定格式的檔案路徑；
• 如何用pdfminer從pdf檔案中抽取文字資訊；
• 如何構建詞典，儲存與鍵值（本文中為檔名）對應的內容，並且避免重複處理資料；
• 如何將詞典資料結構輕鬆轉換為Pandas資料框，以便於後續資料分析。
• 如何用matplotlib和pandas自帶的繪圖函式輕鬆繪製柱狀統計圖形。

討論

你之前做的資料分析工作中，遇到過需要從pdf檔案抽取文字的任務嗎？你是如何處理的？有沒有更好的工具與方法？歡迎留言，把你的經驗和思考分享給大家，我們一起交流討論。

出處 http://www.jianshu.com/p/31929eo6f1c9