筆者曾經用python第三方庫requests來爬取京東商城的商品頁內容，經過解析之後發現只爬到了商品頁一半的圖片。（這篇文章我們以爬取智慧手機圖片為例）

當滑鼠沒有向下滑時，此時檢視原始碼的話，就會看到上圖的內容，只有三十個 li 標籤（一個li標籤中有一個圖片地址）。

但是滑鼠滑至底部後再檢視原始碼的話就會看到六十個 li 標籤，這才是我們真正需要爬取的內容。下圖是滑鼠滑至底部時的原始碼。

為什麼會出現這種原因呢？這是因為京東商城的商品資訊是通過動態載入的方式進行載入的，而這種頁面又被稱為動態頁面。要想爬取這種頁面就必須模擬瀏覽器的行為，和頁面進行互動。python第三方庫selenium恰好能做到這些,只需要將頁面滑至底部就行。

首先我們通過pip工具來安裝selenium庫：

pip install selenium

通過分析每個頁面的url連結，我找到了京東商品頁每個網頁的url的規律：

# search_p 是要查詢的商品名稱，page後面的值是按照，1,3,5,7,9......的規律遞增的，對應的網頁是第1頁，第2頁，第3頁......
url = "https://search.jd.com/Search?keyword=" + str(search_p) + "&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=" + \
         str(search_p) + "&page=" + str(index * 2 + 1)
 
 

接著來分析一下圖片的地址，通過分析我找到了兩種圖片連結格式：

一種是上圖所示的格式：

<img width="220" height="220" class="err-product" data-img="1" data-lazy-img="//img11.360buyimg.com/n7/jfs/t5530/246/208784477/340617/68b4fcac/58fad33aN05c25515.jpg">

還有一種是這種格式的：

<img width="220" height="220" class="err-product" data-img="1" src="//img14.360buyimg.com/n7/jfs/t4549/6/4532220459/272946/d0b72af9/59119ddbNd25bdd22.jpg">
 

確定圖片格式後,定義一個函式來解析網頁中的圖片地址，這裡我用BeautifulSoup4庫對其進行解析。

# 提取網頁的圖片的網址
def parse_html_page(html):

    # 對有效圖片網址進行提取
    soup = BeautifulSoup(html, 'lxml')
    # 定義一個列表來獲取分析得到的圖片的網址

    url_items = []
    li_tags = soup.find_all('li', 'gl-item')
    for li_tag in li_tags:
        try:
            if len(li_tag.img["src"]) >= 10:
                url_items.append(li_tag.img['src'])
            else:
                pass
        except:
            if len(li_tag.img["data-lazy-img"]) >= 10:
                url_items.append(li_tag.img['data-lazy-img'])
            else:
                url_items.append(li_tag.img["src"])

    return url_items

然後我們開始獲取網頁原始碼，前面已經提到，要想獲取到完整的網頁原始碼，就需要瀏覽器和網頁進行互動，即讓瀏覽器自動執行一個向下滑至網頁底部的動作，停頓幾秒，等待網頁載入完成（這一步必須有，否則獲得的網頁原始碼仍會不完整），待網頁載入完成之後就可以獲取網頁原始碼了。

這裡使用selenium來使瀏覽器自動執行向下滑動至網頁底部的動作：

# 執行頁面向下滑至底部的動作
driver.execute_script("window.scrollTo(0,document.body.scrollHeight);")
# 停頓5秒等待頁面載入完畢！！！（必須留有頁面載入的時間，否則獲得的原始碼會不完整。）
time.sleep(5)

網頁原始碼獲取成功之後，便可以用urlretrieve(url, filename=path)方法來定義下載函式。

最後總結一下這個爬蟲，有幾個方面需要注意：1,每個商品頁面對應的url。2,如何利用selenium + 瀏覽器來解決獲取動態頁面的原始碼的問題。3，如何完整提取每個商品頁中的60張圖片的url。