2. 程式人生 > >淘寶商品列表以及商品詳情數據抓取

淘寶商品列表以及商品詳情數據抓取

阿新 • • 發佈：2017-08-06
文本 def 銷量 .com [1] 寫入excel d+ pan bind

前段時間老師讓我爬取淘寶的商品列表以及其商品詳情數據，期間遇到了很多問題。最困難的就是淘寶的價格數據是以Ajax異步加載的，這些數據暫時還沒有能力獲取到。

下面介紹一下基本思路。

首先，通過抓取商品列表的商品ID獲取商品的身份標識，然後根據商品ID跳轉到具體的商品列表，對其他屬性進行抓取。

觀察兩條商品列表的URL：

https://s.taobao.com/search?q=帽子&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170806&bcoffset=7&ntoffset=7&p4ppushleft=1%2C48&s=0

https://s.taobao.com/search?q=帽子&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170806&bcoffset=4&ntoffset=4&p4ppushleft=1%2C48&s=44

https://s.taobao.com/search?q=帽子&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170806&bcoffset=4&ntoffset=4&p4ppushleft=1%2C48&s=88

這是前三個頁面的URL，可以發現，除了"q="和"s="後面的數據不一樣，其他的都是一樣的，因此，可以把URL簡化為：

https://s.taobao.com/search?q=keyword&s=pagenum

其中，q代表搜索的關鍵詞，s代表商品列表的頁數，0代表第一頁，44代表第二頁，88代表第三頁……

先以此URL抓取商品的ID等信息。

代碼如下。

import re
import requests
from pandas import *
from collections import OrderedDict
def getDetails(startpage,endpage):
	#如果需要爬取具體的商品詳情，頁數過多可能會出現異常，此函數可以用來控制一次爬取的頁數
	url_head=‘https://s.taobao.com/search?q=帽子&s=‘   
	#這是淘寶搜索列表的url前面的相同部分，q=‘‘代表搜索的關鍵詞，s=‘‘代表第幾頁，s=0為第1頁s=44為第二頁，以此類推

	url_list=[url_head+str(i*44) for i in range(startpage-1,endpage)]  #生成需要爬取的商品列表url

	#定義存儲商品列表數據數據的列表
	nid_list=[]
	raw_title_list=[]
	view_price_list=[]
	view_sales_list=[]
	item_loc_list=[]
	for url in url_list:
	    resp=requests.get(url)
	    print(resp.url)
	    nid=re.findall(pattern=‘"nid":"(.*?)"‘,string=resp.text)  #商品id,唯一，可以此跳轉到其商品詳情頁面，然後進行其他信息的抓取
	    raw_title=re.findall(pattern=‘"raw_title":"(.*?)"‘,string=resp.text)  #商品名稱
	    view_price=re.findall(pattern=‘"view_price":"(.*?)"‘,string=resp.text)  #商品價格
	    view_sales=re.findall(pattern=‘"view_sales":"(.*?)"‘,string=resp.text)  #商品銷量
	    item_loc=re.findall(pattern=‘"item_loc":"(.*?)"‘,string=resp.text)  #發貨地址

	    #逐個存儲
	    nid_list.extend(nid)
	    raw_title_list.extend(raw_title)
	    view_price_list.extend(view_price)
	    view_sales_list.extend(view_sales)
	    item_loc_list.extend(item_loc)

    #生成數據框
	dt={‘商品id‘:nid_list,‘商品名稱‘:raw_title_list,‘商品價格‘:view_price_list,
					‘商品銷量‘:view_sales_list,‘商品發貨地址‘:item_loc_list}

	df=DataFrame(dt)  #根據字典生成數據框
	#寫入Excel
	writer1=ExcelWriter("taobao_details.xlsx")  #新建一個空白Excel工作簿
	df.to_excel(writer1,"Sheet1")  #將df寫入Sheet1工作表
	writer1.save()

　　

　　上述代碼可以獲取到商品ID、商品名稱、商品價格、商品銷量、發貨地址信息。接下來，利用商品ID信息，跳轉到具體的商品詳情頁面，對其他屬性進行抓取。

對其他屬性的抓取，主要著眼於兩個方面。一個是商品的描述、服務於物流評分，這個雖然淘寶與天貓的HTML頁面有所差別，但是獲取方式大同小異。另外，所有的商品詳情都放在了一個列表裏面，因此用beautifulsoup提取十分方便。

抓取淘寶商品詳情的代碼如下：

def getTaoBaoDetails(url):
	import requests
	import re
	from bs4 import BeautifulSoup
	# from pandas import DataFrame
	from collections import OrderedDict
	res=requests.get(url)
	soup=BeautifulSoup(res.text,"html.parser")
	
	dd=soup.select(".tb-shop-rate dd") #獲取描述、服務、物流的數字信息，該信息存放在一個列表，需要使用正則表達式提取
	dd_value=[]
	if len(dd)>0:
		try:
			for d in range(0,3):
				dd_value.append(re.search(pattern=r‘[\s]*([0-9]\.[0-9])[\s]*‘,string=dd[d].text).group(1))
		except IndexError as err:
			print(res.url)
	#下面的語句獲取屬性列表
	attrs=soup.select(".attributes-list li")
	attrs_name=[]
	attrs_value=[]
	for attr in attrs:
		attrs_name.append(re.search(r‘(.*?):[\s]*(.*)‘,attr.text).group(1))
		attrs_value.append(re.search(r‘(.*?):[\s]*(.*)‘,attr.text).group(2))

	allattrs=OrderedDict() #存放該產品詳情頁面所具有的屬性
	for k in range(0,len(attrs_name)):
		allattrs[attrs_name[k]]=attrs_value[k]

	info=OrderedDict()  #存放該商品所具有的全部信息
	#下面三條語句獲取描述、服務、物流的評分信息
	if len(dd_value)>0:
		info[‘描述‘]=dd_value[0]
		info[‘服務‘]=dd_value[1]
		info[‘物流‘]=dd_value[2]
	else:
		info[‘描述‘]=‘NA‘
		info[‘服務‘]=‘NA‘
		info[‘物流‘]=‘NA‘

	#下面的語句用來判斷該商品具有哪些屬性，如果具有該屬性，將屬性值插入有序字典，否則，該屬性值為空
	#適用場景
	if ‘適用場景‘ in attrs_name:
		info[‘適用場景‘]=allattrs[‘適用場景‘]
	else:
		info[‘適用場景‘]=‘NA‘
	#適用對象
	if ‘適用對象‘ in attrs_name:
		info[‘適用對象‘]=allattrs[‘適用對象‘]
	else:
		info[‘適用對象‘]=‘NA‘
	#款式
	if ‘款式‘ in attrs_name:
		info[‘款式‘]=allattrs[‘款式‘]
	else:
		info[‘款式‘]=‘NA‘
	#尺碼
	if ‘尺碼‘ in attrs_name:
		info[‘尺碼‘]=allattrs[‘尺碼‘]
	else:
		info[‘尺碼‘]=‘NA‘
	#帽頂款式
	if ‘帽頂款式‘ in attrs_name:
		info[‘帽頂款式‘]=allattrs[‘帽頂款式‘]
	else:
		info[‘帽頂款式‘]=‘NA‘
	#帽檐款式
	if ‘帽檐款式‘ in attrs_name:
		info[‘帽檐款式‘]=allattrs[‘帽檐款式‘]
	else:
		info[‘帽檐款式‘]=‘NA‘
	#檐形
	if ‘檐形‘ in attrs_name:
		info[‘檐形‘]=allattrs[‘檐形‘]
	else:
		info[‘檐形‘]=‘NA‘
	#主要材質
	if ‘主要材質‘ in attrs_name:
		info[‘主要材質‘]=allattrs[‘主要材質‘]
	else:
		info[‘主要材質‘]=‘NA‘
	#人群
	if ‘人群‘ in attrs_name:
		info[‘人群‘]=allattrs[‘人群‘]
	else:
		info[‘人群‘]=‘NA‘
	#品牌
	if ‘品牌‘ in attrs_name:
		info[‘品牌‘]=allattrs[‘品牌‘]
	else:
		info[‘品牌‘]=‘NA‘
	#風格
	if ‘風格‘ in attrs_name:
		info[‘風格‘]=allattrs[‘風格‘]
	else:
		info[‘風格‘]=‘NA‘
	#款式細節
	if ‘款式細節‘ in attrs_name:
		info[‘款式細節‘]=allattrs[‘款式細節‘]
	else:
		info[‘款式細節‘]=‘NA‘
	#顏色分類
	if ‘顏色分類‘ in attrs_name:
		info[‘顏色分類‘]=allattrs[‘顏色分類‘]
	else:
		info[‘顏色分類‘]=‘NA‘
	#適用季節
	if ‘適用季節‘ in attrs_name:
		info[‘適用季節‘]=allattrs[‘適用季節‘]
	else:
		info[‘適用季節‘]=‘NA‘
	#適用年齡
	if ‘適用年齡‘ in attrs_name:
		info[‘適用年齡‘]=allattrs[‘適用年齡‘]
	else:
		info[‘適用年齡‘]=‘NA‘

	return info

　　抓取天貓商品詳情的代碼如下：

def getTmallDetails(url):
	import requests
	import re
	from bs4 import BeautifulSoup
	# from pandas import DataFrame
	from collections import OrderedDict
	res=requests.get(url)
	soup=BeautifulSoup(res.text,"html.parser")
	# dt=soup.select(".tb-shop-rate dt") #獲取描述、服務、物流的文本信息，該信息存放在一個列表，需要使用正則表達式提取
	dd=soup.select(".shop-rate ul li") #獲取描述、服務、物流的數字信息，該信息存放在一個列表，需要使用正則表達式提取
	# dt_name=[]
	dd_value=[]
	# for t in range(0,3):
	# 	dt_name.append(dt[t].text)
	if len(dd)>0:
		for d in dd:
			dd_value.append(re.search(r‘([0-9][.][0-9])‘,d.text).group())
	#下面的語句獲取屬性列表
	attrs=soup.select(‘#J_AttrUL li‘)
	attrs_name=[]
	attrs_value=[]
	for attr in attrs:
		attrs_name.append(re.search(r‘(.*?):[\s]*(.*)‘,attr.text).group(1))
		attrs_value.append(re.search(r‘(.*?):[\s]*(.*)‘,attr.text).group(2))

	allattrs=OrderedDict() #存放該產品詳情頁面所具有的屬性
	for k in range(0,len(attrs_name)):
		allattrs[attrs_name[k]]=attrs_value[k]

	info=OrderedDict()  #存放該商品所具有的全部信息
	#下面三條語句獲取描述、服務、物流的評分信息
	if len(dd_value)>0:
		info[‘描述‘]=dd_value[0]
		info[‘服務‘]=dd_value[1]
		info[‘物流‘]=dd_value[2]
	else:
		info[‘描述‘]=‘NA‘
		info[‘服務‘]=‘NA‘
		info[‘物流‘]=‘NA‘
	#下面的語句用來判斷該商品具有哪些屬性，如果具有該屬性，將屬性值插入有序字典，否則，該屬性值為空
	#適用場景
	if ‘適用場景‘ in attrs_name:
		info[‘適用場景‘]=allattrs[‘適用場景‘]
	else:
		info[‘適用場景‘]=‘NA‘
	#適用對象
	if ‘適用對象‘ in attrs_name:
		info[‘適用對象‘]=allattrs[‘適用對象‘]
	else:
		info[‘適用對象‘]=‘NA‘
	#款式
	if ‘款式‘ in attrs_name:
		info[‘款式‘]=allattrs[‘款式‘]
	else:
		info[‘款式‘]=‘NA‘
	#尺碼
	if ‘尺碼‘ in attrs_name:
		info[‘尺碼‘]=allattrs[‘尺碼‘]
	else:
		info[‘尺碼‘]=‘NA‘
	#帽頂款式
	if ‘帽頂款式‘ in attrs_name:
		info[‘帽頂款式‘]=allattrs[‘帽頂款式‘]
	else:
		info[‘帽頂款式‘]=‘NA‘
	#帽檐款式
	if ‘帽檐款式‘ in attrs_name:
		info[‘帽檐款式‘]=allattrs[‘帽檐款式‘]
	else:
		info[‘帽檐款式‘]=‘NA‘
	#檐形
	if ‘檐形‘ in attrs_name:
		info[‘檐形‘]=allattrs[‘檐形‘]
	else:
		info[‘檐形‘]=‘NA‘
	#主要材質
	if ‘主要材質‘ in attrs_name:
		info[‘主要材質‘]=allattrs[‘主要材質‘]
	else:
		info[‘主要材質‘]=‘NA‘
	#人群
	if ‘人群‘ in attrs_name:
		info[‘人群‘]=allattrs[‘人群‘]
	else:
		info[‘人群‘]=‘NA‘
	#品牌
	if ‘品牌‘ in attrs_name:
		info[‘品牌‘]=allattrs[‘品牌‘]
	else:
		info[‘品牌‘]=‘NA‘
	#風格
	if ‘風格‘ in attrs_name:
		info[‘風格‘]=allattrs[‘風格‘]
	else:
		info[‘風格‘]=‘NA‘
	#款式細節
	if ‘款式細節‘ in attrs_name:
		info[‘款式細節‘]=allattrs[‘款式細節‘]
	else:
		info[‘款式細節‘]=‘NA‘
	#顏色分類
	if ‘顏色分類‘ in attrs_name:
		info[‘顏色分類‘]=allattrs[‘顏色分類‘]
	else:
		info[‘顏色分類‘]=‘NA‘
	#適用季節
	if ‘適用季節‘ in attrs_name:
		info[‘適用季節‘]=allattrs[‘適用季節‘]
	else:
		info[‘適用季節‘]=‘NA‘
	#適用年齡
	if ‘適用年齡‘ in attrs_name:
		info[‘適用年齡‘]=allattrs[‘適用年齡‘]
	else:
		info[‘適用年齡‘]=‘NA‘

	return info

　　最後，將所獲取的信息合並在一起，輸出為Excel：

url_start=‘https://item.taobao.com/item.htm?id=‘
	info_df=DataFrame()
	for id in nid_list:
		url_detail=url_start+str(id)
		res=requests.get(url_detail)
		if not isnull(re.search(‘tmall‘,res.url)):
			detial=getTmallDetails(url_detail)
		else:
			detial=getTaoBaoDetails(url_detail)
		detial[‘商品id‘]=id
		info_df=info_df.append(detial,ignore_index=True)
	writer2=ExcelWriter("detail.xlsx")
	info_df.to_excel(writer2,"Sheet1")
	writer2.save()

　　上述代碼應該與第一部分的代碼合並在一起，這樣會同時輸出兩個Excel，如果每10個頁面輸出一次，則需要對輸出的Excel重命名，否則下一次輸出會覆蓋前一次的數據。

淘寶商品列表以及商品詳情數據抓取

相關推薦

淘寶商品列表以及商品詳情數據抓取

文本 def 銷量 .com [1] 寫入excel d+ pan bind 前段時間老師讓我爬取淘寶的商品列表以及其商品詳情數據，期間遇到了很多問題。最困難的就是淘寶的價格數據是以Ajax異步加載的，這些數據暫時還沒有能力獲取到。 下面介紹一下基本思路。 首先，通過抓

關於“淘寶爆款”的數據抓取與數據分析

每一個 .net task 選擇 http 是否 店鋪 lib position 本文為younghz原創，文章鏈接為：http://blog.csdn.net/u012150179/article/details/37306629 這個問題最初是源於我在

天貓淘寶評論數據抓取

turn ren false exc pandas () return tao invalid import requests import re,json import pandas class base(): def __init__(self,url):

Python爬蟲：新浪新聞詳情頁的數據抓取（函數版）

earch edit arm python爬蟲 print 詳情 contents enter uwa 上一篇文章《Python爬蟲：抓取新浪新聞數據》詳細解說了如何抓取新浪新聞詳情頁的相關數據，但代碼的構建不利於後續擴展，每次抓取新的詳情頁時都需要重新寫一遍，因此，我們需

百度VS淘寶 （淘寶網正式向百度宣戰：淘寶網將遮蔽百度的搜尋引擎抓取）

   昨天，淘寶網正式向百度宣戰：淘寶網將遮蔽百度的搜尋引擎抓取。      聽到這個訊息後我非常震驚，看來網際網路這場電子商務大戰正在拉開帷幕。      首先說淘寶      1、馬雲的決定      首先說馬雲，馬雲採用遮蔽搜尋引擎這招狠棋應該是迫不得已而為之，不

python&php數據抓取、爬蟲分析與中介，有網址案例

網絡 數據抓取 不定 pytho span article 抓取 取數據 data- 近期在做一個網絡爬蟲程序。後臺使用python不定時去抓取數據。前臺使用php進行展示 站點是：http://se.dianfenxiang.com python&a

微信運動數據抓取(PHP)

auth 4.4 3.4 nco con stat images chat urn “微信運動”能夠向朋友分享一個包含有運動數據的網頁，網頁中就有我們需要的數據。url類似於：https://open.weixin.qq.com/connect/oauth2/authori

實現多進程爬蟲的數據抓取

multi 函數返回 參數 style 核數 返回 舉例 lis 導入 要實現多進程爬蟲的數據抓取，要用到庫multiprocessing並導入Pool: from multiprocessing import Pool 接著導入進程池 pool = Pool(pro

網站爬取-案例二：天貓爬取( 第一卷：首頁數據抓取)

img .com 我想 提供商 網站 col class scoller bubuko 說到網站數據的爬取，目前為止我見過最復雜的就是天貓了，現在我想對它進行整站的爬取 我們先來看下天貓主頁的界面 天貓頁面很明顯是動態頁面 所以我們需要用selenium模塊 首先

汽車之家店鋪數據抓取 DotnetSpider實戰[一]

@class 詳情 nbsp 實體 比較 request else post 好的 一、背景 春節也不能閑著，一直想學一下爬蟲怎麽玩，網上搜了一大堆，大多都是Python的，大家也比較活躍，文章也比較多，找了一圈，發現園子裏面有個大神開發了一個DotNetSpider的開源

使用fiddler進行手機數據抓取

csdn http ID detail fiddler .net tails art TP 使用fiddler進行手機數據抓取 學習了：https://blog.csdn.net/gld824125233/article/details/52588275 https://b

汽車之家店鋪數據抓取 DotnetSpider實戰

xv6 pan req time 大神 -i xib lac context 一、背景 春節也不能閑著，一直想學一下爬蟲怎麽玩，網上搜了一大堆，大多都是Python的，大家也比較活躍，文章也比較多，找了一圈，發現園子裏面有個大神開發了一個DotNetSpider的開源庫，

使用Puppeteer進行數據抓取(二)——Page對象

Go 內容 expose turn HR else 包括 div 字符串 page對象是puppeteer最常用的對象，它可以認為是chrome的一個tab頁，主要的頁面操作都是通過它進行的。Google的官方文檔詳細介紹了page對象的使用，這裏我只是簡單的小結一下。

微信運動數據抓取(Python)

webp 抓包 微信瀏覽器 win elf 有用 ans bject 顯示 “微信運動”能夠向朋友分享一個包含有運動數據的網頁，網頁中就有我們需要的數據。url類似於：http://hw.weixin.qq.com/steprank/step/personal?openi

使用Puppeteer進行數據抓取(四)——圖片下載

path con encode 內容 and Go size 分享圖片 IT 大多數情況下，圖片獲取並不是很困難的事情，獲取圖片的url，然後模擬瀏覽器請求即可。但是，有的時候這種方法往往無法生效，常見的情形有： 動態圖片，每次獲取都是一個新的，例如圖片驗證碼，重新獲

東方財富網數據抓取 | 爬蟲

通信 mon 請求頭 while HR class rtt web += import requests from lxml import etree import re import time import json import multiprocessing c

【簡易采集】美團數據抓取方法 八爪魚

方法 IT 情況下 根據 規則 內置 教程 關鍵詞 查看 【簡易采集】美團數據抓取方法 最近學習了 一下 如何爬取數據 然後就接觸了 八爪魚 數據分析 這個軟件 詳細信息訪問這個：http://www.bazhuayu.com/tutorial/hottutoria

python網絡數據抓取二（bing圖片抓取）

.get state 練習 code 請求 lee a-z %d 抓取圖片 　　上一回嘗試抓取了百度熱點數據，這次繼續選擇利用bing搜索抓取圖片練習下，代碼放在最下供大家參考。程序需要傳入三個參數，圖片關鍵詞、圖片保存路徑、需要抓取的數量。運行過程中可能會有一些錯誤(大部

爬蟲原理與數據抓取-----（了解）通用爬蟲和聚焦爬蟲

網頁 特殊 mon 相關 百度 engine links 標準 數據抓取 通用爬蟲和聚焦爬蟲 根據使用場景，網絡爬蟲可分為 通用爬蟲 和 聚焦爬蟲 兩種. 通用爬蟲 通用網絡爬蟲 是 捜索引擎抓取系統（Baidu、Google、Yahoo等）的重要組成部分。主要目的是將互聯

爬蟲原理與數據抓取----- Requests模塊

頭部 技術 error 存在 python-re 繼承 .cn clas enter Requests: 讓 HTTP 服務人類 雖然Python的標準庫中 urllib2 模塊已經包含了平常我們使用的大多數功能，但是它的 API 使用起來讓人感覺不太好，而 Request