pyppeteer使用細節
windows下使用puppeteer
1，安裝puppeteer的python庫pyppeteer
pip install pyppeteer
2，安裝chromium
第一次執行pyppeteer就會自動安裝chromium。
centos 安裝 puppeteer
windows 上安裝 puppeteer 非常的簡單，只要安裝了chrome瀏覽器，直接就可以執行，但在 CentOS 上卻沒那麼簡單了，需要處理一大堆的依賴程式，所以把這個過程記錄下來，方便以後查閱。注意：Chrome已不再支援 CentOS 6 ，所以要麼升級到CentOS 7或改用FireFox（據說也不再支援CentOS6了，而且也不相容Puppeteer）。
安裝puppeteer npm包
由於防火牆的原因，我們不能直接訪問google，在安裝puppeteer npm包時，下載 chromium 的時候就會報錯。
ERROR: Failed to download Chromium r543305! Set "PUPPETEER_SKIP_CHROMIUM_DOWNLOAD" env variable to skip download.
{ Error: connect ETIMEDOUT 172.217.160.112:443
at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1173:14)
errno: 'ETIMEDOUT',
code: 'ETIMEDOUT',
syscall: 'connect',
address: '172.217.160.112',
port: 443 }
所以要使用映象安裝，輸入以下命令即可切換到映象下載：
npm config set puppeteer_download_host=https://storage.googleapis.co...
如果上面映象壞了，報404，可以試一下下面這個：
npm config set puppeteer_download_host=https://npm.taobao.org/mirror
然後像往常一樣安裝就可以了。
npm i puppeteer --save
安裝依賴包
如果直接執行，就會產生下面錯誤：
/some/path/root/node_modules/puppeteer/.local-chromium/linux-543305/chrome-linux/chrome: error while loading shared libraries: libXss.so.1: cannot open shared object file: No such file or directory
...
所以我們需要安裝依賴包，幸運的是yum裡已經有相應的包，所以命令很簡單：
sudo yum install google-chrome-stable
如果提示沒有這個包，那就需要新增google的源來下載，如果沒法訪問google，那就需要找個映象了，把下面的url替換成映象的即可，新增檔案/etc/yum.repo.d/google-chrome.repo：
[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/ch... $basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/lin...
如果無法下載gpgkey，可以把gpgcheck的值改為0（如果你不介意安全問題），再執行一次yum的安裝命令即可。
關閉沙盒模式
你以為這樣就可以了？哈哈，圖樣圖深破，你嘗試執行還會有一個sandbox的錯誤，如果你的環境是暴露的，建議按官方教程加上沙盒執行，否則像我這樣直接關閉就行，只要在js程式碼中加上一個no-sandbox的引數即可。
const browser = await puppeteer.launch({args: ['--no-sandbox']});
字型缺失
某些伺服器預設字型是不全的，需要手動安裝，如果出現類似以下錯誤就需要裝字型：
[0427/123834.275317:FATAL:platform_font_linux.cc(83)] Check failed: InitDefaultFont(). Could not find the default font
安裝方法很簡單，就用yum就可以：
yum install ipa-gothic-fonts xorg-x11-fonts-100dpi xorg-x11-fonts-75dpi xorg-x11-utils xorg-x11-fonts-cyrillic xorg-x11-fonts-Type1 xorg-x11-fonts-misc -y
到這裡，你的puppeteer應該就可以了~
OSError: Unable to remove Temporary User Data
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
File "C:UsersAdministratorAppDataLocalProgramsPythonPython36libsite-packagespyppeteerlauncher.py", line 201, in killChrome
self._cleanup_tmp_user_data_dir()
File "C:UsersAdministratorAppDataLocalProgramsPythonPython36libsite-packagespyppeteerlauncher.py", line 130, in _cleanup_tmp_user_data_dir
raise IOError('Unable to remove Temporary User Data')
OSError: Unable to remove Temporary User Data
忘記關閉頁面導致的錯誤，
await page.waitFor(3000)
await page.close()
pyppeteer.errors.BrowserError: Failed to connect to browser port:http://127.0.0.1 :59000/json/version
啟動時新增--disable-setuid-sandbox選項
const browser = await puppeteer.launch({
headless: true,
executablePath:'/home/sagar/workplace/scraping-demo/node_modules/puppeteer/.local-chromium/linux-599821/chrome-linux/chrome',
args: ['--no-sandbox', '--disable-setuid-sandbox'],
});
將pyppeteer類和websockets.protlcol類的log設定為WARNING級別,可以避免WARINIG級別下的log輸出。此法，可以節省程式列印無用日誌的時間和日誌佔用的巨大空間。
pyppeteer_level = logging.WARNING
logging.getLogger('pyppeteer').setLevel(pyppeteer_level)
logging.getLogger('websockets.protocol').setLevel(pyppeteer_level)
pyppeteer_logger = logging.getLogger('pyppeteer')
pyppeteer_logger.setLevel(logging.WARNING)
在github上崔大佬開了issue，討論避免pyppeteer類和websockets.protlcol類列印大量日誌的問題。github地址