利用python3爬蟲下載圖片、pdf文件
阿新 • • 發佈:2018-11-22
環境
語言環境:python3.6
作業系統:Win10
第三方庫
requests
網際網路上的資源大都是以二進位制形式儲存和運輸的,如圖片、pdf、音訊、視訊等,像.dat、.ts等這些不常用的檔案也都是二進位制。我們知道python3爬蟲是利用爬蟲模擬瀏覽器向服務端傳送請求,並解析伺服器返回來的響應,像上述這些檔案都是以二進位制形式返回到本地客戶端的。而response物件的屬性content表示的則是HTTP響應內容的二進位制形式,利用該屬性,我們可以通過程式碼對網上資源進行下載
下載這些資源最重要的一點就是,你要知道這些檔案在哪兒,也就是他們的URL,即他們的連線
下載圖片
連結:美女長髮披肩背影美圖
程式碼實現
import requests
url = 'https://img-blog.csdnimg.cn/20181119214250858.png'
r = requests.get(url)
img = r.content #響應的二進位制檔案
with open('美女.png','wb') as f: #二進位制寫入
f.write(img)
下載pdf
下載連結:http://47.106.94.154/study_file/hdu-multi6-fzdx.pdf
程式碼實現
import requests
url = 'http://47.106.94.154/study_file/hdu-multi6-fzdx.pdf'
r = requests.get(url)
pdf = r.content #響應的二進位制檔案
with open('杭電多校第六場.pdf','wb') as f: #二進位制寫入
f.write(pdf)
效果圖
當然,本篇博文針對的只是檔案的下載,當然對於這樣一個兩個檔案完全可以手動下載,而且一般情況下資源的URL不一定說能找到就能找到的,但對於處理大批量檔案來說通過指令碼實現就非常容易了
以下是一個處理大量檔案的例子:Python3批量下載.dat和.hea檔案