用python2.7的requests模組下載圖片(案例是200張)
阿新 • • 發佈:2018-11-20
用python2.7的requests模組下載圖片(案例是200張)
想要增加資料量自己改引數就行了。
其中是有些資料重複,可能不到200,但是不會差太遠。
# -*- coding: utf-8 -*-
# @Author : Acm
import json
import jsonpath
import requests
base_url = "https://unsplash.com/napi/search/photos?"
headers = {"User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Mobile Safari/537.36" }
j = 1
# 連結地址
url_list = []
# 加引數
for i in range(10):
params = {
"query": "flower",
"xp": "",
"per_page": 20,
"page": i,
}
# 請求資料
response = requests.get(url=base_url, headers=headers, params=params)
html_str = response.content
jsonobj = json. loads(html_str)
# 每頁20條連結資料進入列表
for i in range(20):
small_url_list = jsonpath.jsonpath(jsonobj, "$.results[{}].urls.small".format(i))[0].encode('utf-8')
url_list.append(small_url_list)
# 列表去重
url_list = list(set(url_list))
# 寫到檔案中
for i in url_list:
res = requests.get(url= i, headers=headers, stream=True)
with open('./img/flower_'+str(j)+'.jpg', 'wb') as f:
for data in res.iter_content(128):
f.write(data)
j += 1