Python爬蟲(二十三)_selenium案例:動態模擬頁面點擊
阿新 • • 發佈:2017-12-27
zip 函數 span www. 方法 markdown web selenium 使用
本篇主要介紹使用selenium模擬點擊下一頁,更多內容請參考:Python學習指南
#-*- coding:utf-8 -*-
import unittest
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import time
class douyuSelenium(unittest.TestCase):
#初始化方法
def setUp(self):
self.driver = webdriver.PhantomJS(service_args= ['--ignore-ssl-errors=true', '--ssl-protocol=any'])
#具體的測試用例方法,一定要以test開頭
def testDouyu(self):
self.driver.get("http://www.douyu.com/directory/all")
while True:
#指定xml解析
soup = BeautifulSoup(self.driver.page_source, "lxml" )
#返回當前頁面的所有房間標題列表和觀眾人數列表
titles = soup.find_all('h3' , {'class':"ellipsis"})
print(len(titles))
nums = soup.find_all('span', {'class': "dy-num fr"})
# #使用zip()函數把列表合並,並創建一個遠相對的列表[(1, 2), (3, 4)]
for title, num in zip(nums, titles):
print(u'觀眾人數: '+num.get_text().strip(), u'\t房間標題: '+title.get_text().strip())
#page_source.find()未找到內容則返回-1
if self.driver.page_source.find('shark-pager-disable-next') != -1:
break
self.driver.find_element_by_class_name('shark-pager-next').click()
time.sleep(1)
# 退出時的清理方法
def tearDown(self):
print("加載完成...")
self.driver.quit()
if __name__ == '__main__':
unittest.main()
Python爬蟲(二十三)_selenium案例:動態模擬頁面點擊