2. 程式人生 > >python—爬蟲偽裝成瀏覽器的三種方法

python—爬蟲偽裝成瀏覽器的三種方法

阿新 • • 發佈：2019-02-16
meta 16px ike 方法 agent htm erl pytho 這一

好多網站對於爬蟲中沒有進行瀏覽器偽裝的會進行反爬，

以糗事百科網站為例

下面提供了三種方法添加headers，使爬蟲能夠偽裝成瀏覽器訪問。

備註：

方法二和方法三中省略了

import urllib.request
url = ‘http://www.qiushibaike.com/‘

方法一：通過opener添加header

 1 # 方法一：通過opener添加headers
 2 import urllib.request
 3 url = ‘http://www.qiushibaike.com/‘
 4 
 5 # 頭文件格式header=(‘User-Agent‘,具體用戶代理值) 元組形式，元組內包含(key,value)
 

 6 headers=(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0‘)
 7 # 創建opener對象
 8 opener = urllib.request.build_opener()
 9 opener.addheaders = [headers]
10 # (1)直接使用opener進行爬蟲
11 data = opener.open(url).read()
12 # print(data)
 

13 print(len(data))
14 # (2)將opener安裝為全局,全局生效後，再使用urlopen
15 urllib.request.install_opener(opener) 
16 data = urllib.request.urlopen(url).read()
17 print(len(data))



 


方法二：通過opener批量添加header



 1 # 方法二：批量添加headers 有時候只添加user-agent這一個header不行，需要多添加幾個header
 2 headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0
 
","Content-Type":"application/javascript",
 3 }
 4 #創建opener對象
 5 opener = urllib.request.build_opener()
 6 opener.addheaders = headers.items()  #header.items() 字典(Dictionary).items() 函數以列表返回可遍歷的(鍵, 值) 元組數組。正好符合addheaders屬性要求的值的類型。[(key1,value1),(key2,value2),(key3,value3)]
 7 # (1)直接使用opener進行爬蟲
 8 data = opener.open(url).read()
 9 # print(data)
10 print(len(data))
11 # (2)將opener安裝為全局,全局生效後，再使用urlopen
12 urllib.request.install_opener(opener) 
13 data = urllib.request.urlopen(url).read()
14 print(len(data))



 


方法三：通過Request添加header



1 # 方法三：通過Request添加headers
2 req = urllib.request.Request(url)
3 req.add_header(‘User-Agent‘, ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0‘)
4 req_data = urllib.request.urlopen(req).read()
5 print(len(req_data))



 
python—爬蟲偽裝成瀏覽器的三種方法
   
 
 
 
 

            
  

           

              
              

            

            
相關推薦

			   
            
            
            
 

    


    
    
python—爬蟲偽裝成瀏覽器的三種方法

     
 meta   16px   ike   方法   agent   htm   erl   pytho   這一   好多網站對於爬蟲中沒有進行瀏覽器偽裝的會進行反爬，
以糗事百科網站為例
下面提供了三種方法添加headers，使爬蟲能夠偽裝成瀏覽器訪問。
備註：
方法二和方法三中省略了
import urll 



  
 

    


    
    
Python爬蟲解析網頁的三種方法，lxml、BeautifulSoup、re案例！

     
  
 
 常用的類庫為lxml，BeautifulSoup，re(正則) 
  
   學習Python中有不明白推薦加入交流群                 號：960410445     &nb 



  
 

    


    
    
Python刪除列表元素的三種方法

     
  
 
 列表有三種方法來刪除列表值: 
 
  list.pop(index) 預設是最後一個元素 s = ['aa', 'bb', 'cc']
s.pop()
  
  list.remove(value) 刪除第一個找的值 s.remove(s[-1])
print s  
  del  刪除 



  
 

    


    
    
Python ：單元測試的三種方法，函式測試，類測試，文件測試

     
  
  
  
 對程式的功能修改時，判斷是否影響了原有的功能使用的方法 #函式的單元測試 #類的測試方法與函式測試一致 
 def MySum(x,y) :
    return x+y
def MySub(x,y) :
    return x-y
 
 #假設對以上的模組進行了修改，需要判斷是否對原有的 



  
 

    


    
    
Python實現下載檔案的三種方法

     
 下面來看看三種方法是如何來下載zip檔案的：方法一： 
 
 import urllib print "downloading with urllib"
url = 'http://www.jb51.net//test/demo.zip'
urllib.urlretrieve(url, "demo.zip") 



  
 

    


    
    
python讀取文字檔案的三種方法

     
  
  
  
 參考連結  python讀取文字檔案的內容，有三種方法。  read()、readline()、readlines() 
 read() 
 read()是最簡單的一種方法，一次性讀取檔案的所有內容放在一個大字串中，即記憶體中。 
 file=open('test.txt')
try:
   



  
 

    


    
    
python pandas.map apply applymap 三種方法小結

     
 
                pandas包的apply方法表示對DataFrame中的每一列元素應用函式。比如：



同時也可以在行方向做運算：



map方法：這裡的map方法有點像mapreduce中的map()方法，具體的過程是將資料集中的每一個元素進行函式處理，如下：


			df['a' 



  
 

    


    
    
Python實現矩陣相乘的三種方法

     
  
 
  
  
 問題描述 
 分別實現矩陣相乘的3種演算法，比較三種演算法在矩陣大小分別為
   
    22∗22
   2^2*2^2, 
   
    23∗23
   2^3*2^3, 
   
    24∗24
   2^4*2^4, 
   
    25∗25
   2^5*2^5, 



  
 

    


    
    
Python 列印中文字元的三種方法

     
 
								
								            
						
                
方法一：

現在用 notepad++，在 UTF-8 格式下編寫以下語句：
#coding=utf-8
print"列印中文字元"

方法二：
用encode和decode
如：



?

1
2 



  
 

    


    
    
python爬蟲使用Cookie的兩種方法

     
 
                場景：當我們以未登入身份使用瀏覽器訪問一個看書的相關網址時，只顯示了亞馬遜的購買連結。隱藏了書籍的下載連結。但是當我們登入以後，下載連結會顯示出來，這樣在爬蟲的時候，可以把下載連結解析出來使用。登入前後網頁Headers-Request Headers顯示的Cookie不同。 



  
 

    


    
    
Python檔案遍歷的三種方法

     
 
                

1. os.path.walk()

這是一個傳統的用法。

walk(root,callable,args)方法有三個引數：要遍歷的目錄，回撥函式，回撥函式的引數（元組形式）。

呼叫的過程是遍歷目錄下的檔案或目錄，每遍歷一個目錄，呼叫回撥函式，並把args作為引數傳遞 



  
 

    


    
    
Python安裝第三方庫的三種方法

     
 
                

【方法一】:通過setuptools來安裝python模組

首先下載 http://peak.telecommunity.com/dist/ez_setup.py
NOTE: 最好下載個setuptools，本人是15.2版本，裡面包含了ez_setup

執行 pyt 



  
 

    


    
    
python批量下載圖片的三種方法

     
 
                一是用微軟提供的擴充套件庫win32com來操作IE：
win32com可以獲得類似js裡面的document物件，但貌似是隻讀的（文件都沒找到）。
　　二是用selenium的webdriver：
selenium則提供了Chrome，IE，FireFox等的支援，每種瀏覽 



  
 

    


    
    
Python實現爬蟲設定代理IP和偽裝成瀏覽器的方法分享

     
  
 Python實現爬蟲設定代理IP和偽裝成瀏覽器的方法分享 
  1.python爬蟲瀏覽器偽裝 
 
 
  
   
   
     
    
    
     
      
       
       
        1
        
       
       



  
 

    


    
    
python打開瀏覽器的三種方法

     
 PE   browser   www.   baidu   app   div   解決方案   com   open   1.startfile方法

import os
os.startfile("C:\Program Files (x86)\Google\Chrome\Application\chrom 



  
 

    


    
    
分針網——每日分享：JavaScript進階(四)js字符串轉換成數字的三種方法

     
 
	


	



	加入職業技能圈 q群：272292492


	更多文章：www.f-z.cn


	



	在js讀取文本框或者其它表單數據的時候獲得的值是字符串類型的,例如兩個文本框a和b,如果獲得a的value值為11,b的value值為9 ,那麽a.valu 



  
 

    


    
    
Python列表刪除的三種方法

     
 存儲   需要   刪除元素   /usr   一個   last   可能   light   pytho   1、使用del語句刪除元素

>>> i1 = ["a",‘b‘,‘c‘,‘d‘]

>>> del i1[0]
>>> print(i1)
 



  
 

    


    
    
python判斷一個單詞是否為有效的英文單詞？——三種方法

     
 eas   www.   cal   ges   art   etc   code   port   href   For (much) more power and flexibility, use a dedicated spellchecking library like PyEnchant. Ther 



  
 

    


    
    
Python中替換的三種方法

     
 nbsp   分享   分別是   images   空白   圖片   png   除開   str   strip()    replace()      re.sub()
 
1.replace()是python的內置函數，字符類型.replace(old,new)
s1="你好2017"
s1.rep 



  
 

    


    
    
python字符串連接的三種方法及其效率、適用場景詳解

     
 通過   lists   bash   clear   必須   內存   連接   utf-8   site   
 


python字符串連接的方法，一般有以下三種:方法1：直接通過加號(+)操作符連接website=& 39;python& 39;+& 39;tab&