上一節我們介紹了Selenium工具的使用，本節我們就利用Selenium跟Chrome瀏覽器結合來爬取淘寶相關男士羽絨服商品的資訊，當然你可以用相同的方法來爬取淘寶其他商品的資訊。我們要爬取羽絨服的價格、圖片連線、賣家、賣家地址、收貨人數等資訊，並將其儲存在csv中

from selenium import webdriver
#from selenium.webdriver.chrome.options import Options
#from selenium.webdriver import ActionChains
from lxml import etree
import time

#配置Chrome Headless模式
#chrome_options = Options()
#chrome_options.add_argument('--headless')
#chrome_options.add_argument('--disable-gpu')
#指定瀏覽器
#driver = webdriver.Chrome(chrome_options = chrome_options)
#定義瀏覽器，為有頭模式
driver = webdriver.Chrome()
#將瀏覽器頁面最大化
driver.maximize_window()


#主程式
if __name__ == "__main__":
    #淘寶登入介面
    url = 'https://login.taobao.com/member/login.jhtml'
    driver.get(url)
    driver.implicitly_wait(10)
    #讓程式休眠10秒，在這期間，彈出登入介面之後，你就可以使用你的手機掃碼登入淘寶了
    #其實也可以使用活動滑塊來驗證，但是我總是不成功，所以只能用掃碼來驗證了
    time.sleep(10)
    #定位索索狂，並將其清除
    driver.find_element_by_id('q').clear()
    #在搜尋框內輸入“羽絨服'
    driver.find_element_by_id('q').send_keys('羽絨服')
    #休息兩秒，免得被發現為爬蟲
    time.sleep(2)
    #點選搜尋按鈕
    driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()
    #休息兩秒
    time.sleep(2)
    #driver.find_element_by_xpath('//*[@id="J_relative"]/div[1]/div/ul/li[2]/a').click()
    #點選來源於“ 天貓 ” 按鈕
    driver.find_element_by_xpath('//*[@id="tabFilterMall"]').click()
    #休息兩秒
    time.sleep(2)
    #點選 “ 銷量最高按鈕 ”
    driver.find_element_by_xpath('//*[@id="J_relative"]/div[1]/div/ul/li[2]/a').click()
    #休息兩秒
    time.sleep(2)
    #列印當前頁面的URL
    print(driver.current_url)
    # 解析網頁
    html = etree.HTML(driver.page_source)
    # 利用xpath尋找大迴圈。
    items = html.xpath('//div[@class="item J_MouserOnverReq  "]')
    for item in items:
        #利用xpath 進行小迴圈，列印銷量排名靠前的店家名稱
        shop = item.xpath('div[2]/div[3]/div[1]/a/span[2]/text()')[0]
        print(shop)
 

1. 首先匯入需要用到的庫 。帶  “ # ”的表示為headless模式
2. 指定瀏覽器為 Chrome，這裡採用有頭模式，一方面你可以觀察Selenium跟瀏覽器是如何配合使用，然後自動搜尋商品資訊的，另一方面，由於淘寶存在反扒機制：即你必須登入才能搜尋到相關資訊。所以我們的開始頁面是淘寶的登入頁面，https://login.taobao.com/member/login.jhtml  等截面彈出來之後，你只需要通過你的手機淘寶掃碼登入即可。不要頻繁登入，否則淘寶還會啟動其他反扒機制。
3. 其餘解釋，原始碼中已經作為註釋存在了，關於  xpath 可能沒有詳細解釋，其實就跟 正則表示式 類似，但是在網頁結構更加複雜，需要爬取大量資料的情況下，建議使用 xpath 來提取資訊。關於 xpath ，我們明天會進行簡單介紹