目標：獲取淘寶搜尋頁面資訊，爬取商品的名稱和價格

方法：淘寶的搜尋介面

          翻頁處理

庫：requests

對比網址：

得到    第n頁是s=（n-1）*44

淘寶網站的robots協議（一般網站的robots協議約定放在網站的主目錄下的/robots.txt中）

可以看出爬蟲不得對淘寶的搜尋頁面進行爬取（爬取速度就像人類的速度則是允許的）

程式結構：

1.提交商品搜尋請求，迴圈獲得頁面

2.從每個頁面中提取商品的名稱和價格資訊

3.列印輸出

以搜尋鞋為例：

結論：raw_title和view_price分別對應名稱和價格

程式碼：

# -*- coding:utf-8 -*-  # 解決python不相容中文
# 載入requests庫
import requests
# 載入正則表示式模組
import re


# 爬取網頁內容模組
def get_html_text(url):  # 獲取要訪問的網址
try:
        r = requests.get(url, timeout=30)  # 把爬取後的內容賦給r，等待時間對多30秒
r.raise_for_status()  # 爬取網頁時返回的狀態碼
r.encoding = r.apparent_encoding  # 把從內容中分析的編碼方式賦給從HTTP header中猜測的編碼方式
 
return r.text  # 返回爬取網頁後的文字
except RuntimeError:  # 一般超時錯誤
return ""  # 函式結束返回
# 從爬取網頁的文字內容中提取有價值資訊
def parse_page(self, html):  # 接收
try:
        find_price = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
        find_title = re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len
 
(find_price)):
            price = eval(find_price[i].split(':')[1])
            title = eval(find_title[i].split(':')[1])
            self.append([price, title])
    except RuntimeError:  # 一般超時錯誤
print()


# 列印提取後的資料
def print_goods_list(data):
    headline = "{:4}\t{:8}\t{:16}"
print(headline.format("序號", "價格", "商品名稱"))
    count = 0
for i in data:
        count = count + 1
print(headline.format(count, i[0], i[1]))


# 主函式
def main():
    search_text = '鞋'  # 設定在淘寶搜尋的內容
depth = 3   # 設定爬取深度為3頁
start_url = 'https://s.taobao.com/search?q=' + search_text
    information_list = []
    for i in range(depth):
        try:
            url = start_url + '$s=' + str(44*i)
            html = get_html_text(url)
            parse_page(information_list, html)
        except RuntimeError:  # 一般超時錯誤
continue
print_goods_list(information_list)


main()