1. 程式人生 > >利用python3爬蟲下載圖片、pdf文件

利用python3爬蟲下載圖片、pdf文件

環境
語言環境:python3.6
作業系統:Win10

第三方庫
requests

網際網路上的資源大都是以二進位制形式儲存和運輸的,如圖片、pdf、音訊、視訊等,像.dat、.ts等這些不常用的檔案也都是二進位制。我們知道python3爬蟲是利用爬蟲模擬瀏覽器向服務端傳送請求,並解析伺服器返回來的響應,像上述這些檔案都是以二進位制形式返回到本地客戶端的。而response物件的屬性content表示的則是HTTP響應內容的二進位制形式,利用該屬性,我們可以通過程式碼對網上資源進行下載
下載這些資源最重要的一點就是,你要知道這些檔案在哪兒,也就是他們的URL,即他們的連線

下載圖片


連結:美女長髮披肩背影美圖

美女長髮披肩背影

程式碼實現

import requests  

url = 'https://img-blog.csdnimg.cn/20181119214250858.png'
r = requests.get(url)
img = r.content       #響應的二進位制檔案
with open('美女.png','wb') as f:     #二進位制寫入
    f.write(img)

下載pdf
下載連結:http://47.106.94.154/study_file/hdu-multi6-fzdx.pdf

程式碼實現

import requests

url =
'http://47.106.94.154/study_file/hdu-multi6-fzdx.pdf' r = requests.get(url) pdf = r.content #響應的二進位制檔案 with open('杭電多校第六場.pdf','wb') as f: #二進位制寫入 f.write(pdf)

效果圖
效果圖

當然,本篇博文針對的只是檔案的下載,當然對於這樣一個兩個檔案完全可以手動下載,而且一般情況下資源的URL不一定說能找到就能找到的,但對於處理大批量檔案來說通過指令碼實現就非常容易了
以下是一個處理大量檔案的例子:Python3批量下載.dat和.hea檔案