1. 程式人生 > >Python+selenium+PhantomJS獲取百度搜索結果真實連結地址

Python+selenium+PhantomJS獲取百度搜索結果真實連結地址

祝願所有參加高考的孩子們都能超水平發揮,考出好成績,考上理想的學校!也希望你們考上大學之後仍然保持高考前的學習勁頭!

===========正文=============

問題描述:在爬取百度搜索結果時,往往會得到一箇中轉連結,而不是真實地址,在瀏覽器開啟這個中轉連結之後才會變成真實地址。可以通過破解演算法、抓包跟蹤等不同手段來還原這樣的地址,也可以模擬瀏覽器開啟百度跳轉連結之後獲取真實地址,雖然速度稍慢一點,但是方便實現。本文使用selenium+PhantomJS來模擬這個過程並獲取真實地址。

1、開啟網址http://phantomjs.org/download.html,下載PhantomJS,本文以Windows平臺為例。下載壓縮檔案,把解壓縮得到的phantomjs.exe複製到Python 3.6的安裝目錄下,也就是直譯器主程式python.exe所在的資料夾。

640?wx_fmt=png

2、使用pip命令安裝Python擴充套件庫selenium。

640?wx_fmt=png

3、使用PhantomJS開啟中轉連結,然後獲取真實地址。以上一篇文章Python 3.6模擬輸入並爬取百度前10頁密切相關連結為例,在程式碼中增加下面幾行程式碼。

640?wx_fmt=png

執行結果:

640?wx_fmt=png

----------喜大普奔----------

1、董付國老師Python系列教材,亞馬遜、京東、噹噹、天貓均有銷售:

1)《Python程式設計(第2版)》(2018年5月第6次印刷)

出版社官方連結(亞馬遜、京東、噹噹均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.18.24a52226hIi8Bj&id=534581929248&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

2)《Python可以這樣學》(2018年2月第5次印刷)(本書已發行繁體版)

出版社官方連結(亞馬遜、京東、噹噹均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.16.24a52226hIi8Bj&id=544817105410&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

3)《Python程式設計開發寶典》(2018年2月第3次印刷)

出版社官方連結(亞馬遜、京東、噹噹均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.52.24a52226hIi8Bj&id=556093887133&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

4)《中學生可以這樣學Python》2018年5月第2次印刷)

出版社官方連結(亞馬遜、京東、噹噹均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.20.24a52226hIi8Bj&id=560808221053&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

5)《Python程式設計基礎(第2版)》(2018年5月第2次印刷)

出版社官方連結(亞馬遜、京東、噹噹均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.24.24a52226hIi8Bj&id=565581275846&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

6)《玩轉Python輕鬆過二級》(2018年5月隆重上架)

出版社官方連結(亞馬遜、京東、噹噹均有銷售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.84.24a52226hIi8Bj&id=569250004069&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

2、董老師120課免費視訊地址: https://pan.baidu.com/s/1jJeAs8Q 密碼: px59

----------相關閱讀----------

教學課件

系列題庫分享

相關閱讀