Python爬蟲基礎教程，手把手教你爬取拉勾網！
阿新 • • 發佈：2019-06-29
一、思路分析：
在之前寫拉勾網的爬蟲的時候，總是得到下面這個結果（真是頭疼），當你看到下面這個結果的時候，也就意味著被反爬了，因為一些網站會有相應的反爬蟲措施，例如很多網站會檢測某一段時間某個IP的訪問次數，如果訪問頻率太快以至於看起來不像正常訪客，它可能就會禁止這個IP的訪問：
對於拉勾網，我們要找到職位資訊的ajax介面倒是不難（如下圖），問題是怎麼不得到上面的結果。
要想我們的爬蟲不被檢測出來，我們可以使用代理IP，而網上有很多提供免費代理的網站，比如西刺代理、快代理、89免費代理等等，我們可以爬取一些免費的代理然後搭建我們的代理池，使用的時候直接從裡面進行呼叫就好了。然後通過觀察可以發現，拉勾網最多顯示30頁職位資訊，一頁顯示15條，也就是說最多顯示450條職位資訊。在ajax介面返回的結果中可以看到有一個totalCount欄位，而這個欄位表示的就是查詢結果的數量，獲取到這個值之後就能知道總共有多少頁職位資訊了。對於爬取下來的結果，儲存在MongoDB資料庫中。
二、主要程式碼：
proxies.py（爬取免費代理並驗證其可用性，然後生成代理池）
import requests import re class Proxies: def __init__(self): self.proxy_list = [] self.headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) " "Chrome/45.0.2454.101 Safari/537.36", 'Accept-Encoding': 'gzip, deflate, sdch', } ''' 在學習過程中有什麼不懂得可以加我的python學習交流扣扣qun，934109170，群裡有不錯的學習教程與開發工具。 ''' # 爬取西刺代理的國內高匿代理 def get_proxy_nn(self): proxy_list = [] res = requests.get("http://www.xicidaili.com/nn", headers=self.headers) ip_list = re.findall('<td>(\d+\.\d+\.\d+\.\d+)</td>', res.text) port_list = re.findall('<td>(\d+)</td>', res.text) for ip, port in zip(ip_list, port_list): proxy_list.append(ip + ":" + port) return proxy_list # 驗證代理是否能用 def verify_proxy(self, proxy_list): for proxy in proxy_list: proxies = { "http": proxy } try: if requests.get('http://www.baidu.com', proxies=proxies, timeout=2).status_code == 200: print('success %s' % proxy) if proxy not in self.proxy_list: self.proxy_list.append(proxy) except: print('fail %s' % proxy) # 儲存到proxies.txt裡 def save_proxy(self): # 驗證代理池中的IP是否可用 print("開始清洗代理池...") with open("proxies.txt", 'r', encoding="utf-8") as f: txt = f.read() # 判斷代理池是否為空 if txt != '': self.verify_proxy(txt.strip().split('\n')) else: print("代理池為空！\n") print("開始存入代理池...") # 把可用的代理新增到代理池中 with open("proxies.txt", 'w', encoding="utf-8") as f: for proxy in self.proxy_list: f.write(proxy + "\n") if __name__ == '__main__': p = Proxies() results = p.get_proxy_nn() print("爬取到的代理數量", len(results)) print("開始驗證：") p.verify_proxy(results) print("驗證完畢：") print("可用代理數量：", len(p.proxy_list)) p.save_proxy()
在middlewares.py中新增如下程式碼：
class LaGouProxyMiddleWare(object): def process_request(self, request, spider): import random import requests with open("具體路徑\proxies.txt", 'r', encoding="utf-8") as f: txt = f.read() proxy = "" flag = 0 for i in range(10): proxy = random.choice(txt.split('\n')) proxies = { "http": proxy } if requests.get('http://www.baidu.com', proxies=proxies, timeout=2).status_code == 200: flag = 1 break if proxy != "" and flag: print("Request proxy is {}".format(proxy)) request.meta["proxy"] = "http://" + proxy else: print("沒有可用的IP！")
然後還要在settings.py中新增如下程式碼，這樣就能使用代理IP了：
1 SPIDER_MIDDLEWARES = {
2 'LaGou.middlewares.LaGouProxyMiddleWare': 543,
3 }
在item.py中新增如下程式碼：
import scrapy
class LaGouItem(scrapy.Item):
city = scrapy.Field() # 城市
salary = scrapy.Field() # 薪水
position = scrapy.Field() # 職位
education = scrapy.Field() # 學歷要求
company_name = scrapy.Field() # 公司名稱
company_size = scrapy.Field() # 公司規模
finance_stage = scrapy.Field() # 融資階段
在pipeline.py中新增如下程式碼：
import pymongo
class LaGouPipeline(object):
def __init__(self):
conn = pymongo.MongoClient(host="127.0.0.1", port=27017)
self.col = conn['Spider'].LaGou
def process_item(self, item, spider):
self.col.insert(dict(item))
return item
在spiders資料夾下新建一個spider.py，程式碼如下：
import json
import scrapy
import codecs
import requests
from time import sleep
from LaGou.items import LaGouItem
class LaGouSpider(scrapy.Spider):
name = "LaGouSpider"
def start_requests(self):
# city = input("請輸入城市：")
# position = input("請輸入職位方向：")
city = "上海"
position = "python"
url = "https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&city={}".format(city)
headers = {
"Referer": "https://www.lagou.com/jobs/list_{}?city={}&cl=false&fromSearch=true&labelWords=&suginput=".format(codecs.encode(position, 'utf-8'), codecs.encode(city, 'utf-8')),
"Cookie": "_ga=GA1.2.2138387296.1533785827; user_trace_token=20180809113708-7e257026-9b85-11e8-b9bb-525400f775ce; LGUID=20180809113708-7e25732e-9b85-11e8-b9bb-525400f775ce; index_location_city=%E6%AD%A6%E6%B1%89; LGSID=20180818204040-ea6a6ba4-a2e3-11e8-a9f6-5254005c3644; JSESSIONID=ABAAABAAAGFABEFFF09D504261EB56E3CCC780FB4358A5E; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534294825,1534596041,1534596389,1534597802; TG-TRACK-CODE=search_code; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534599373; LGRID=20180818213613-acc3ccc9-a2eb-11e8-9251-525400f775ce; SEARCH_ID=f20ec0fa318244f7bcc0dd981f43d5fe",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 Safari/537.36"
}
data = {
"first": "true",
"pn": 1,
"kd": position
}
res = requests.post(url, headers=headers, data=data)
# 獲取相關職位結果數目
count = res.json()['content']['positionResult']['totalCount']
# 由於最多顯示30頁，也就是最多顯示450條職位資訊
page_count = count // 15 + 1 if count <= 450 else 30
for i in range(page_count):
sleep(5)
yield scrapy.FormRequest(
url=url,
formdata={
"first": "true",
"pn": str(i + 1),
"kd": position
},
callback=self.parse
)
def parse(self, response):
try:
# 解碼並轉成json格式
js = json.loads(response.body.decode('utf-8'))
result = js['content']['positionResult']['result']
item = LaGouItem()
for i in result:
item['city'] = i['city']
item['salary'] = i['salary']
item['position'] = i['positionName']
item['education'] = i['education']
item['company_name'] = i['companyFullName']
item['company_size'] = i['companySize']
item['finance_stage'] = i['financeStage']
yield item
except:
print(response.body)
三、執行結果：
由於使用的是免費代理，短時間內就失效了，所以會碰上爬取不到資料的情況，所以推薦