python selenium 進行爬蟲,開啟chrome只返回data; 打不開頁面
- 我選用的是chrome
程式碼如下:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver=webdriver.Chrome()
driver.get("http://www.baidu.com")
把下載好的chromedriver v2.43 放到 /usr/local/bin
下面
結果如下:
出現一個現象如上圖所示。
就是 並沒有開啟百度,只返回了一個title為data;頁面。
這是為什麼呢?
- 開啟chrome檢視header 發現我的chrome 是v63
- 而chromedriver v2.43 支援v69-71
那麼我的chrome和driver 並不匹配
所以換成正確的chromedriver 版本 我用了v2.35 然後重新放到/usr/local/bin
接著執行程式碼,發現打開了百度,但是仍然有瀏覽器被driver自動控制的提示。
結論:chrome瀏覽器和 driver要匹配
相關推薦
python selenium 進行爬蟲,開啟chrome只返回data; 打不開頁面
我選用的是chrome 程式碼如下: from selenium import webdriver from selenium.webdriver.common.keys import Keys driver=webdriver.Chrome() driver.get(
解決!Mac在進行tensor board視覺化時出現網址打不開的情況
作為一個新手學習,我遇到很多問題(?)。 利用Mac學習tensor flow時,要學會利用好tensor board這個視覺化的工具。 當我Jupyter中進行視覺化時,輸入tensor board --logdir=log,先是出現錯
安裝完debian8.3,斷電重啟後terminal打不開
apt-get update後,不小心斷電。重起後發現 ternimal打不開。 經過網上查詢,只需要做一下語言設定就可以了。 把Language重新選擇儲存後, 重啟桌面登入後就可以了。 不然,我運用APPlication程式 也是一堆莫名奇妙的問題。
網路異常,dns異常,qq能上但是網頁打不開
本人小白一枚,至於內部出錯原理目前還沒有弄清,在網上找了很多解決方案也都沒啥用,關鍵時刻還是靠金山毒霸等系統軟體。 說說出錯前提:本想將瀏覽器翻牆,結果失敗,原本的host檔案也被修改。或許就是這個原因導致瀏覽器網頁開啟異常。 解決:我這個解決辦法是純傻瓜式
python+selenium呼叫瀏覽器(IE-Chrome-Firefox)實現爬蟲功能
好記性不如爛筆頭,今天把selenium呼叫瀏覽器操作總結一下。 首先,得先明確,為什麼要採用selenium來模擬登陸網頁。最主要的原因我認為還是在於通過這種模擬登入方式獲取的頁面html程式碼,可以把js裡的內容也獲取到,而通過urllib方式模擬登入的
Python+Selenium進行網頁多視窗切換爬蟲
#!/usr/bin/python # -*- coding:utf8 -*- import time import random import os import re import xlwt import requests import numpy as np impo
python+selenium瀏覽器調用(chrome、ie、firefox)
其他 調用 quit tps arp cnblogs web aid imp #coding=utf-8 from selenium import webdriver driver=webdriver.Chrome() #調用chrome瀏覽器 driver.g
使用python+selenium控制手工已開啟的瀏覽器
我們可以利用Chrome DevTools協議。它允許客戶檢查和除錯Chrome瀏覽器。 開啟cmd,在命令列中輸入命令: chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\selenum\AutomationProfile"
Python非同步載入爬蟲,護士私密照源源不斷!請各自備好紙巾!開車
利用aiohttp這個庫來進行 非同步協程提速! 如果Python爬蟲不僅在程式碼編寫上展現速度,而且在爬取過程中表現出優越感,最好的就是去下載圖片吧,而下載圖片最好的代表當然是......我就不多說了。 Python非同步載入爬蟲,護士私照源源不斷,Ajax抓取速度
python selenium庫爬蟲介紹
原文連結:python爬蟲從入門到放棄(八)之 Selenium庫的使用。 一、什麼是Selenium selenium 是一套完整的web應用程式測試系統,包含了測試的錄製(selenium IDE),編寫及執行(Selenium Remote Control)和測試的並行處理(Selen
Python+Selenium執行JavaScript,控制滾動條移動
執行js指令碼來控制瀏覽器豎向滾動條: 開啟百度貼吧,然後拖動滾動條到左側 “地區" # coding=utf-8 import time from selenium import webdrive
win10更新後 chrome核心瀏覽器開啟網頁一直載入,顯示正在建立安全連線 甚至打不開 解決方法
更新win10之後如果出現chrome核心的瀏覽器網頁總是打不開 開啟很慢,顯示正在建立安全連線 而ie和是可以正常訪問的 讓人苦惱不已,用這個方法後已解決問題。 近期,工程師收到大量反饋360瀏覽器,極速模式無法開啟網頁,相容模式無此問題。IE瀏覽器和Edge都正常。 下
Python:安裝ipython,開啟.ipynb檔案
安裝: pip install ipython pip install "ipython[notebook]" #或者 pip3 install ipython[all] #用瀏覽器即時執行除錯程式碼 ipython notebook 修改啟動預設目錄: jupyter n
Python泡妹爬蟲,用Python傳送天氣預報郵件!
此次的目標是爬取指定城市的天氣預報資訊,然後再用Python傳送郵件到指定的郵箱。 一,爬取天氣預報 1、首先是爬取天氣預報的資訊,用的網站是中國天氣網,網址是http://www.weather.com.cn/static/html/weather.shtml
centos7 中啟動chrome時無法啟動的問題,開啟chrome,沒反應,自行關閉
[[email protected] bin]# /usr/bin/google-chrome [8239:8239:1230/172329.621009:ERROR:zygote_host_impl_linux.cc(89)] Running as root without --no
一次完整的自動化登入測試-基於python+selenium進行cnblog的自動化登入測試
Web登入測試是很常見的測試!手動測試大家再熟悉不過了,那如何進行自動化登入測試呢!本文作者就用python+selenium結合unittest單元測試框架來進行一次簡單但比較完整的cnblog自動化登入測試,給大家提供點參考!下面就包括測試程式碼和每種測試情況的截圖:
selenium+phantomJS爬蟲,適用於登陸限制強,點觸驗證碼等一些場景
selenium是很出名的自動化測試工具,多數場景是測試工程師用來做自動化測試,但是同樣selenium可以作為基本上模擬瀏覽器的工具,去爬取一些基於http request不能或者很複雜的才能爬取的站點,而且互動式指令碼(如:python) + seleniu
Python selenium 自動化測試,一定要會用selenium的等待,三種等待方式解讀
發現太多人不會用等待了,博主今天實在是忍不住要給大家講講等待的必要性。 很多人在群裡問,這個下拉框定位不到、那個彈出框定位不到…各種定位不到,其實大多數情況下就是兩種問題: 1 有frame,2 沒有加等待。 殊不知,你的程式碼執行速度是什麼量級的,而瀏覽器載入渲染速度
Python selenium —— 檔案下載,不彈出視窗,直接下載到指定路徑
今天談談檔案下載吧,很多人不會處理彈出的檔案下載框,其實跟上傳類似,可以用autoit和win32api解決,方法類似,可以看博主之前的文章 ,今天這裡博主主要想講講更漂亮的一種處理辦法,那就是指定下載路徑,不彈出彈框,直接下載到指定路徑。 今天主要分享Fi
【爬蟲】如何用python+selenium網頁爬蟲
spl query page selenium ota selector 方法 exc timeout 一、前提 爬蟲網頁(只是演示,切勿頻繁請求):https://www.kaola.com/ 需要的知識:Python,selenium 庫,PyQuery 參考網站:ht