本人長期出售超大量微博資料、旅遊網站評論資料，並提供各種指定資料爬取服務，Message to [email protected]

前言

最近在做機器學習下的人臉識別的學習，機器學習這個東西有點暴力，很大程度上靠訓練的資料量來決定效果。為了找資料，通過一個部落格的指導，瀏覽了幾個很知名的資料集。

幾個大型資料集是通過發郵件申請進行下載，幾個小型資料集直接在網頁的連結下載，還有一個Pubfig資料集則是提供了大量圖片的連結來讓我們自己寫程式來下載。

權衡了資料量的需求，最後選擇Pubfig的資料集，於是就自己寫了一個python圖片採集程式，裡面用了urllib和requests兩種方法.

分析Pubfig提供的下載檔案的特點

這個資料檔案提供了在資料集中出現的所有人物

這個資料檔案提供了每個人的urls

可以看出來這個資料集的處理其實非常簡單了，可以通過readlines的方式存進列表用空格分開一下資料就可以把urls提取出來了。

處理一下urls檔案

urls在檔案的中後部，寫個檔案把它單純地提取出來，方便使用。
我單獨把Miley_Cyrus的部分提取出來放了一個txt檔案

pic_url = []
with open('./Miley_Cyrus.txt') as f:
    for i in f.readlines():
        pic_url.append(i.strip('\r\n'
 
))

urls = []
for s in pic_url:
    _, _, _, url, _, _ = s.split()
    urls.append(url)

# 寫入到檔案裡面
with open('url.data', 'w') as f:
    for i in urls:
        f.write(i)
        f.write('\n')

爬取urls圖片

1. Urllibs方法

import urllib.request as request
import socket
import os


# 在同級目錄新建資料夾存圖片
os.mkdir('./img'
 
)


# 為請求增加一下頭
user_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
headers = ('User-Agent', user_agent)
opener = request.build_opener()
opener.addheaders = [headers]
request.install_opener(opener)

# 設定一下無響應時間，防止有的壞圖片長時間沒辦法下載下來
timeout = 20
socket.setdefaulttimeout(timeout)


# 從檔案裡面讀urls
urls = []
with open('./url.data') as f:
    for i in f.readlines():
        if i != '':
            urls.append(i)
        else:
            pass


# 通過urllibs的requests獲取所有的圖片
count = 1
bad_url = []
for url in urls:
    url.rstrip('\n')
    print(url)
    try:
        pic = request.urlretrieve(url, './img3/%d.jpg' % count)
        print('pic %d' % count)
        count += 1
    except Exception as e:
        print(Exception, ':', e)
        bad_url.append(url)
    print('\n')
print('got all photos that can be got')


# 把沒有抓取到的urls儲存起來
with open('bad_url3.data', 'w') as f:
    for i in bad_url:
        f.write(i)
        f.write('\n')
    print('saved bad urls')

2. Requests方法

import requests
import socket
import os


# 在同級目錄新建資料夾存圖片
os.mkdir('./img')


# 設定一下無響應時間，防止有的壞圖片長時間沒辦法下載下來
timeout = 20
socket.setdefaulttimeout(timeout)


# 從檔案裡面讀urls
urls = []
with open('./url.data') as f:
    for i in f.readlines():
        if i != '':
            urls.append(i)
        else:
            pass


# 為請求增加一下頭，獲取圖片
user_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
headers = {
    'User-Agent': user_agent
}
bad_url = []
count = 1
for url in urls:
    url.rstrip('\n')
    print(url)
    try:
        pic = requests.get(url, headers=headers)
        with open('./img2/%d.jpg' % count, 'wb') as f:
            f.write(pic.content)
            f.flush()
        print('pic %d' % count)
        count += 1
    except Exception as e:
        print(Exception, ':', e)
        bad_url.append(url)
    print('\n')
print('got all photos that can be got')


# 儲存壞連結
with open('bad_url.data', 'w') as f:
    for i in bad_url:
        f.write(i)
        f.write('\n')
    print('saved bad urls')