背景

  Python爬蟲系列教程的一次實戰，然而淘寶進行過頁面改版，現在已經沒有淘寶MM這個版面，取而代之的是淘女郎。改版後，頁面是使用JS渲染的，並不能直接通過url來切換頁碼。該系列教程後續講到了 selenium + phantomJS，通過這個組合來模擬操作，進行頁碼切換等。

對於上述組合，初步學習可以參考：

在學習過程中，不僅僅看上面兩篇文章，文章裡面有列出官方文件、以及其它學習材料。另外，要善用搜索引擎去獲取想要的答案。

開始動手

網頁原始碼

1. 我用的是Chrome瀏覽器，ctrl+shift+i 可以調出開發者工具
2. 然後定點陣圖片元素所在位置

定位

1. 通過對網頁原始碼的分析，可以看到，所有圖片都是在 class=’listing_cons’的div裡，而每一個 class=’cons_li’的div就是一位MM的資訊

2. 使用 beautiful soup 進行DOM操作

• 找出照片板塊

soup = BeautifulSoup(driver.page_source, 'lxml')
cons_li_list = soup.select('.cons_li')

• 每一位MM的資訊

# 暱稱
name = cons_li.select('.item_name')[0].get_text()
# 照片連結
# 由於js圖片延遲載入，img標籤指向連結的屬性有可能不是src，而是data-ks-lazyload
 

img = cons_li.select('.item_img img')[0]
img_src = img.get('src')
if img_src is None:
    img_src = img.get('data-ks-lazyload')

第一版結果

讀取每一位的暱稱和圖片連結，儲存到檔案中

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Date    : 2017-06-18 17:00:19
# @Author  : kk ([email protected])
# @Link    : blog.csdn.net/PatrickZheng
 

# @Version : $Id$

from selenium import webdriver
from bs4 import BeautifulSoup

# 如果在環境變數PATH中添加了phantomJS，此處不需要指明executable_path
driver = webdriver.PhantomJS(executable_path='D:\workplace\spider\phantomjs-2.1.1-windows\phantomjs.exe')
driver.get('https://www.taobao.com/markets/mm/mmku')

soup = BeautifulSoup(driver.page_source, 'lxml')

# 每個MM的展示是放在 屬性class=cons_li的div中
cons_li_list = soup.select('.cons_li')
print len(cons_li_list)

try:
    f = open('mm_detail.txt', 'a')
    for cons_li in cons_li_list:
        name = cons_li.select('.item_name')[0].get_text()
        print name
        f.write((name+'\n').encode('utf-8'))
        img = cons_li.select('.item_img img')[0]
        img_src = img.get('src')
        if img_src is None:
            img_src = img.get('data-ks-lazyload')
        print img_src
        f.write(img_src.encode('utf-8'))
finally:
    if f:
        f.close()

driver.close()
print 'done.'