一、介紹

selenium最初是一個自動化測試工具,而爬蟲中使用它主要是為了解決requests無法直接執行JavaScript程式碼的問題。

selenium本質是通過驅動瀏覽器，完全模擬瀏覽器的操作，比如跳轉、輸入、點選、下拉等，來拿到網頁渲染之後的結果，可支援多種瀏覽器

from selenium import webdriver
browser=webdriver.Chrome()
browser=webdriver.Firefox()
browser=webdriver.PhantomJS()
browser=webdriver.Safari()
browser=webdriver.Edge()
 

官網：http://selenium-python.readthedocs.io

二、安裝

（一）安裝：selenium+chromedriver

pip3 install selenium
下載chromdriver.exe放到python安裝路徑的scripts目錄中即可，注意最新版本是2.29，並非2.9
下載連結：http://npm.taobao.org/mirrors/chromedriver/2.29/

#驗證安裝

C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> driver=webdriver.Chrome() #彈出瀏覽器
>>> driver.get('https://www.baidu.com')
>>> driver.page_source
 

#注意：
selenium3預設支援的webdriver是Firfox，而Firefox需要安裝geckodriver
下載連結：https://github.com/mozilla/geckodriver/releases

（二）安裝：selenium+phantomjs

pip3 install selenium
下載phantomjs，解壓後把phantomjs.exe所在的bin目錄放到環境變數
下載連結：http://phantomjs.org/download.html

#驗證安裝

C:\Users\Administrator>phantomjs
phantomjs> console.log('egon gaga')
egon gaga
undefined
phantomjs> ^C
C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> driver=webdriver.PhantomJS() #無介面瀏覽器
>>> driver.get('https://www.baidu.com')
>>> driver.page_source