python爬取京東文胸資料(二)
阿新 • • 發佈：2018-11-27
##1.獲取js請求
上一篇我們只抓取了一頁的評論，今天我們多抓點
##2.比較異同
import requests import json import threading import time import re class cpu: def __init__(self): self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'} def get_json(self,url): res = requests.get(url, headers=self.headers).text s = re.compile(r'fetchJSON_comment.*?\(') #我第二天準備爬多頁的時候發現這個無關字元竟然改變了！所以我迫不得已又改了點，利用正則進行匹配 uesless = str(s.findall(res)) #要變成字串不然lstrip會翻臉 jd = json.loads(res.lstrip(uesless).rstrip(');')) com_list = jd['comments'] for i in com_list: print(i['productColor'],i['productSize']) if __name__ == '__main__': pa = cpu() for i in range(8): js_url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv12370&productId=19523497981&score=0&sortType=5&page=%d&pageSize=10&isShadowSku=0&rid=0&fold=1' % i time.sleep(1) t = threading.Thread(target=pa.get_json, args=(js_url,)) t.start()
##3.分析結果
淡粉色 85C=38C(配XL碼內褲) 黑色 70A=32A(配S碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 80B=36B(配L碼內褲) 淡粉色 75A=34A(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 75A=34A(配M碼內褲) 黑色 80B=36B(配L碼內褲) 淡粉色 85A=38A(配XL碼內褲) 黑色 80B=36B(配L碼內褲) 黑色 80A=36A(配L碼內褲) 黑色 85B=38B(配XL碼內褲) 黑色 80B=36B(配L碼內褲) 淡粉色 75C=34C(配M碼內褲) 黑色 80A=36A(配L碼內褲) 黑色 75B=34B(配M碼內褲) 淡粉色 75B=34B(配M碼內褲) 黑色 75B=34B(配M碼內褲) 黑色 80C=36C(配L碼內褲) 淡粉色 80B=36B(配L碼內褲) 淡粉色 75B=34B(配M碼內褲) 白色 75B=34B(配M碼內褲) 黑色 75A=34A(配M碼內褲)
目前我只爬了8頁評論裡面買的大小，一眼就看出不是B就是A, 特喜歡性感黑，C就3個，中國妹子的罩杯不行啊，要是有個C的女朋友可要珍惜，她是為數不多的一部分，作為一個單身工科男是A我也不在乎啊