一、selenium和PhantomJS用法簡介

selenium是web的自動化測試工具，類似按鍵精靈，可以直接執行在瀏覽器上。

pip install selenium


PhantomJS是基於webkit的無介面瀏覽器，使用時，無需輸入header等。

需要從 phantomjs.org處下載，再將bin目錄新增到環境變數path中。

1.1 基本使用流程

"""基本流程"""
from selenium import webdriver

#要想呼叫鍵盤操作需要引入keys包
from selenium.webdriver.common.keys import Keys

#呼叫環境變數指定的PhantomJS瀏覽器建立瀏覽器物件
driver = webdriver.PhantomJS()
#如果沒有在環境變數指定PhantomJS位置
#driver = webdriver.PhantomJS(executable_path="F:\phantomjs\phantomjs-2.1.1-windows\bin")

#get方法會一直等到頁面被完全載入，然後才會繼續程式
#通常測試會在這裡選擇time.sleep(2)
driver.get("http://www.baidu.com")

'''具體的操作，仿人為上網'''

#關閉當前網頁，如果只有一個頁面，會關閉瀏覽器
#driver.close()

#關閉瀏覽器
driver.quit()
 

1.2 網頁資訊顯示

"""網頁資訊"""
#列印頁面標題“百度一下，你就知道”
str_ = driver.title

#獲取當前網頁的原始碼
str_html = driver.page_source

#獲取當前網頁的cookie
cookies = driver.get_cookies()
cookies['name']
cookies['value']

#獲取當前網頁的url
str_ = driver.current_url

1.3 鍵盤操作

"""鍵盤操作"""
#要想呼叫鍵盤操作需要引入keys包
from selenium.webdriver.common.keys import Keys

#獲取頁面名為wrapper的id標籤的文字內容
data = driver.find_element_by_id("wrapper").text
#除了by_id之外，還有by_name, by_xpath, by_class_name等
#其中，element選取的是一個，elements選出的是全部。
#這個類似bs4

#生成當前頁面的快照並儲存
driver.save_screenshot("baidu.png")

#id="su"是百度搜索按鈕，click()是模擬點選
driver.find_element_by_id("su").click()
#click之後需要等待幾秒，等待網頁響應。
time.sleep(2)
driver.save_screenshot("click.png")

#id="kw"是百度搜索輸入框，輸入字串“長城”
driver.find_element_by_id("kw").send_keys(u"長城")
driver.save_screenshot("input.png")

#ctrl+a全選輸入框
driver.find_element_by_id("kw").send_keys(Keys.CONTROL, 'a')

#模擬ENTER回車鍵
driver.find_element_by_id("kw").send_keys(Keys.RETURN)

#清空輸入框
driver.find_element_by_id("kw").clear()
 

1.4 滑鼠操作

"""滑鼠操作"""
#匯入類
from selenium.webdriver import ActionChains

#滑鼠移動到某個位置
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).perform()

#單擊，（操作滑鼠，移到某處，點選，顯示效果）
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).click(ac).perform()
#或者可以driver.find_element_by_xpath('element').click()

#雙擊
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).double_click(ac).perform()

#右擊
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).context_click(ac).perform()
 

1.5 其他操作

"""執行JavaScript語句"""
js='document.body.scrollTop=10000'#向下滾動10000畫素
driver.execute_script(js)

二、示例：鬥魚房間人數爬取

# -*- coding:utf-8 -*-

import unittest
from selenium import webdriver
from lxml import etree

class douyu(unittest.TestCase):
    # 初始化方法，必須是setUp()
    def setUp(self):
        self.driver = webdriver.PhantomJS()
        self.num = 0
        self.count = 0

    # 測試方法必須有test字樣開頭
    def testDouyu(self):
        self.driver.get("https://www.douyu.com/directory/all")

        while True:
            content = etree.HTML(self.driver.page_source)
            # 房間名, 返回列表
            names = content.xpath('//h3[@class="ellipsis"]')
            # 觀眾人數, 返回列表
            numbers = content.xpath('//span[@class="dy-num fr"]')

            # zip(names, numbers) 將name和number這兩個列表合併為一個元組 : [(1, 2), (3, 4)...]
            for name, number in zip(names, numbers):
                print( u"觀眾人數: -" + number.text.strip() + u"-\t房間名: " + name.text.strip())
                self.num += 1

            # 如果在頁面原始碼裡找到"下一頁"為隱藏的標籤，就退出迴圈
            if self.driver.page_source.find("shark-pager-disable-next") != -1:
                    break

            # 一直點選下一頁
            self.driver.find_element_by_class_name("shark-pager-next").click()

    # 測試結束執行的方法
    def tearDown(self):
        # 退出PhantomJS()瀏覽器
        print( "當前網站直播人數" + str(self.num))
        print( "當前網站觀眾人數" + str(self.count))
        self.driver.quit()

if __name__ == "__main__":
    # 啟動測試模組
    unittest.main()