1. 程式人生 > >selenium+chromedrive 爬取js載入的動態網頁(下拉才能顯示內容)

selenium+chromedrive 爬取js載入的動態網頁(下拉才能顯示內容)

from selenium import webdriver
from selenium.webdriver.common.keys import Keys   #呼叫鍵盤操作
from selenium.webdriver.chrome.options import Options
import time
from lxml import etree

#建立chrome瀏覽器驅動,無頭模式
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=chrome_options)

#載入介面
driver.get("https://ai.ofweek.com/")
time.sleep(3)

#逐漸滾動瀏覽器視窗,令ajax逐漸載入
for i in range(0,10):
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    i += 1
    time.sleep(4)

# 拿到頁面原始碼
html = driver.page_source
print(html)


driver.quit()