web自動化爬蟲selenium centos 無GUI環境配置
阿新 • • 發佈：2018-11-02
基本環境：centos7,python3.x
1.安裝selenium
pip3 install selenium
2.安裝chrome-browser
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm --no-check-certificate
yum install ./google-chrome-stable_current_x86_64.rpm
3.下載chromedriver（注意要和chrome-browser版本對應）
由於下載的chrome-browser是70版本的，所以chromedriver 選擇了2.43版本
wget http://chromedriver.storage.googleapis.com/2.43/chromedriver_linux64.zip
解壓此檔案，並將檔案移動到/usr/bin目錄下
unzip chromedriver_linx64.zip
mv chromedriver /usr/bin/
4.測試selenium是否可用，請執行以下python指令碼，如返回html內容，則說明安裝成功
from selenium import webdriver
url='http://bing.com'
option = webdriver.ChromeOptions()
option.add_argument('--no-sandbox')
option.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=option)
driver.get(url)
print(driver.page_source)注意需要加上，禁止在沙箱中執行
option.add_argument('--no-sandbox')
option.add_argument('--headless')
補充：
安裝firefox支援
yum install firefox
yum install Xvfb
yum install libXfont
pip3 install pyvirtualdisplay
測試指令碼
#!/usr/bin/python3
from selenium import webdriver
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800,600))
display.start()
driver = webdriver.Firefox()
driver.get('https://www.baidu.com')
print(driver.title)
driver.quit()
display.stop()