2. 程式人生 > >Python學習之路 （四）爬蟲（三）HTTP和HTTPS

Python學習之路 （四）爬蟲（三）HTTP和HTTPS

阿新 • • 發佈：2018-03-28
CP 發出 net 長度 現在 消息頭 理論 LV 模型

HTTP和HTTPS

HTTP協議（HyperText Transfer Protocol，超文本傳輸協議）：是一種發布和接收 HTML頁面的方法。

HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）簡單講是HTTP的安全版，在HTTP下加入SSL層。

SSL（Secure Sockets Layer 安全套接層）主要用於Web的安全傳輸協議，在傳輸層對網絡連接進行加密，保障在Internet上數據傳輸的安全。

  • HTTP的端口號為80，
  • HTTPS的端口號為443

HTTP工作原理

網絡爬蟲抓取過程可以理解為模擬瀏覽器操作的過程

。

瀏覽器的主要功能是向服務器發出請求，在瀏覽器窗口中展示您選擇的網絡資源，HTTP是一套計算機通過網絡進行通信的規則。

HTTP的請求與響應

HTTP通信由兩部分組成： 客戶端請求消息 與 服務器響應消息

技術分享圖片

瀏覽器發送HTTP請求的過程：

  1. 當用戶在瀏覽器的地址欄中輸入一個URL並按回車鍵之後，瀏覽器會向HTTP服務器發送HTTP請求。HTTP請求主要分為“Get”和“Post”兩種方法。

  2. 當我們在瀏覽器輸入URL http://www.baidu.com 的時候，瀏覽器發送一個Request請求去獲取 http://www.baidu.com 的html文件，服務器把Response文件對象發送回給瀏覽器。

  3. 瀏覽器分析Response中的 HTML，發現其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。 瀏覽器會自動再次發送Request去獲取圖片，CSS文件，或者JS文件。

  4. 當所有的文件都下載成功後，網頁會根據HTML語法結構，完整的顯示出來了。

URL（Uniform / Universal Resource Locator的縮寫）：統一資源定位符，是用於完整地描述Internet上網頁和其他資源的地址的一種標識方法。

技術分享圖片

基本格式：

scheme://host[:port#]/path/…/[?query-string][#anchor]
  • scheme：協議(例如：http, https, ftp)
  • host：服務器的IP地址或者域名
  • port#：服務器的端口（如果是走協議默認端口，缺省端口80）
  • path：訪問資源的路徑
  • query-string：參數，發送給http服務器的數據
  • anchor：錨（跳轉到網頁的指定錨點位置）

例如：

  • ftp://192.168.0.116:8080/index

  • http://www.baidu.com

  • http://item.jd.com/11936238.html#product-detail

客戶端HTTP請求

URL只是標識資源的位置，而HTTP是用來提交和獲取資源。客戶端發送一個HTTP請求到服務器的請求消息，包括以下格式：

請求行、請求頭部、空行、請求數據

四個部分組成，下圖給出了請求報文的一般格式。

技術分享圖片

一個典型的HTTP請求示例
GET https://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Referer: http://www.baidu.com/
Accept-Encoding: gzip, deflate, sdch, br
Accept-Language: zh-CN,zh;q=0.8,en;q=0.6
Cookie: BAIDUID=04E4001F34EA74AD4601512DD3C41A7B:FG=1; BIDUPSID=04E4001F34EA74AD4601512DD3C41A7B; PSTM=1470329258; MCITY=-343%3A340%3A; BDUSS=nF0MVFiMTVLcUh-Q2MxQ0M3STZGQUZ4N2hBa1FFRkIzUDI3QlBCZjg5cFdOd1pZQVFBQUFBJCQAAAAAAAAAAAEAAADpLvgG0KGyvLrcyfrG-AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAFaq3ldWqt5XN; H_PS_PSSID=1447_18240_21105_21386_21454_21409_21554; BD_UPN=12314753; sug=3; sugstore=0; ORIGIN=0; bdime=0; H_PS_645EC=7e2ad3QHl181NSPbFbd7PRUCE1LlufzxrcFmwYin0E6b%2BW8bbTMKHZbDP0g; BDSVRTM=0

請求方法

GET https://www.baidu.com/ HTTP/1.1

根據HTTP標準，HTTP請求可以使用多種請求方法。

HTTP 0.9：只有基本的文本 GET 功能。

HTTP 1.0：完善的請求/響應模型，並將協議補充完整，定義了三種請求方法： GET, POST 和 HEAD方法。

HTTP 1.1：在 1.0 基礎上進行更新，新增了五種請求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。

HTTP 2.0（未普及）：請求/響應首部的定義基本沒有改變，只是所有首部鍵必須全部小寫，而且請求行要獨立為 :method、:scheme、:host、:path這些鍵值對。

序號方法描述
1 GET 請求指定的頁面信息，並返回實體主體。
2 HEAD 類似於get請求，只不過返回的響應中沒有具體的內容，用於獲取報頭
3 POST 向指定資源提交數據進行處理請求（例如提交表單或者上傳文件），數據被包含在請求體中。POST請求可能會導致新的資源的建立和/或已有資源的修改。
4 PUT 從客戶端向服務器傳送的數據取代指定的文檔的內容。
5 DELETE 請求服務器刪除指定的頁面。
6 CONNECT HTTP/1.1協議中預留給能夠將連接改為管道方式的代理服務器。
7 OPTIONS 允許客戶端查看服務器的性能。
8 TRACE 回顯服務器收到的請求，主要用於測試或診斷。

HTTP請求主要分為Get和Post兩種方法

  • GET是從服務器上獲取數據，POST是向服務器傳送數據

  • GET請求參數顯示，都顯示在瀏覽器網址上，HTTP服務器根據該請求所包含URL中的參數來產生響應內容，即“Get”請求的參數是URL的一部分。 例如： http://www.baidu.com/s?wd=Chinese

  • POST請求參數在請求體當中，消息長度沒有限制而且以隱式的方式進行發送，通常用來向HTTP服務器提交量比較大的數據（比如請求中包含許多參數或者文件上傳操作等），請求的參數包含在“Content-Type”消息頭裏，指明該消息體的媒體類型和編碼，

註意：避免使用Get方式提交表單，因為有可能會導致安全問題。 比如說在登陸表單中用Get方式，用戶輸入的用戶名和密碼將在地址欄中暴露無遺。

常用的請求報頭

1. Host (主機和端口號)

Host：對應網址URL中的Web名稱和端口號，用於指定被請求資源的Internet主機和端口號，通常屬於URL的一部分。

2. Connection (鏈接類型)

Connection：表示客戶端與服務連接類型

  1. Client 發起一個包含 Connection:keep-alive 的請求，HTTP/1.1使用 keep-alive 為默認值。

  2. Server收到請求後：

    • 如果 Server 支持 keep-alive，回復一個包含 Connection:keep-alive 的響應，不關閉連接；
    • 如果 Server 不支持 keep-alive，回復一個包含 Connection:close 的響應，關閉連接。

  3. 如果client收到包含 Connection:keep-alive 的響應，向同一個連接發送下一個請求，直到一方主動關閉連接。

keep-alive在很多情況下能夠重用連接，減少資源消耗，縮短響應時間，比如當瀏覽器需要多個文件時(比如一個HTML文件和相關的圖形文件)，不需要每次都去請求建立連接。

3. Upgrade-Insecure-Requests (升級為HTTPS請求)

Upgrade-Insecure-Requests：升級不安全的請求，意思是會在加載 http 資源時自動替換成 https 請求，讓瀏覽器不再顯示https頁面中的http請求警報。

HTTPS 是以安全為目標的 HTTP 通道，所以在 HTTPS 承載的頁面上不允許出現 HTTP 請求，一旦出現就是提示或報錯。

4. User-Agent (瀏覽器名稱)

User-Agent：是客戶瀏覽器的名稱，以後會詳細講。

5. Accept (傳輸文件類型)

Accept：指瀏覽器或其他客戶端可以接受的MIME（Multipurpose Internet Mail Extensions（多用途互聯網郵件擴展））文件類型，服務器可以根據它判斷並返回適當的文件格式。

舉例：

Accept: */*：表示什麽都可以接收。

Accept：image/gif：表明客戶端希望接受GIF圖像格式的資源；

Accept：text/html：表明客戶端希望接受html文本。

Accept: text/html, application/xhtml+xml;q=0.9, image/*;q=0.8：表示瀏覽器支持的 MIME 類型分別是 html文本、xhtml和xml文檔、所有的圖像格式資源。

q是權重系數，範圍 0 =< q <= 1，q 值越大，請求越傾向於獲得其“;”之前的類型表示的內容。若沒有指定q值，則默認為1，按從左到右排序順序；若被賦值為0，則用於表示瀏覽器不接受此內容類型。

Text：用於標準化地表示的文本信息，文本消息可以是多種字符集和或者多種格式的；Application：用於傳輸應用程序數據或者二進制數據。詳細請點擊

6. Referer (頁面跳轉處)

Referer：表明產生請求的網頁來自於哪個URL，用戶是從該 Referer頁面訪問到當前請求的頁面。這個屬性可以用來跟蹤Web請求來自哪個頁面，是從什麽網站來的等。

有時候遇到下載某網站圖片，需要對應的referer，否則無法下載圖片，那是因為人家做了防盜鏈，原理就是根據referer去判斷是否是本網站的地址，如果不是，則拒絕，如果是，就可以下載；

7. Accept-Encoding（文件編解碼格式）

Accept-Encoding：指出瀏覽器可以接受的編碼方式。編碼方式不同於文件格式，它是為了壓縮文件並加速文件傳遞速度。瀏覽器在接收到Web響應之後先解碼，然後再檢查文件格式，許多情形下這可以減少大量的下載時間。

舉例：Accept-Encoding:gzip;q=1.0, identity; q=0.5, *;q=0

如果有多個Encoding同時匹配, 按照q值順序排列，本例中按順序支持 gzip, identity壓縮編碼，支持gzip的瀏覽器會返回經過gzip編碼的HTML頁面。 如果請求消息中沒有設置這個域服務器假定客戶端對各種內容編碼都可以接受。

8. Accept-Language（語言種類）

Accept-Langeuage：指出瀏覽器可以接受的語言種類，如en或en-us指英語，zh或者zh-cn指中文，當服務器能夠提供一種以上的語言版本時要用到。

9. Accept-Charset（字符編碼）

Accept-Charset：指出瀏覽器可以接受的字符編碼。

舉例：Accept-Charset:iso-8859-1,gb2312,utf-8
  • ISO8859-1：通常叫做Latin-1。Latin-1包括了書寫所有西方歐洲語言不可缺少的附加字符，英文瀏覽器的默認值是ISO-8859-1.
  • gb2312：標準簡體中文字符集;
  • utf-8：UNICODE 的一種變長字符編碼，可以解決多種語言文本顯示問題，從而實現應用國際化和本地化。

如果在請求消息中沒有設置這個域，缺省是任何字符集都可以接受。

Cookie：瀏覽器用這個屬性向服務器發送Cookie。Cookie是在瀏覽器中寄存的小型數據體，它可以記載和服務器相關的用戶信息，也可以用來實現會話功能，以後會詳細講。

11. Content-Type (POST數據類型)

Content-Type：POST請求裏用來表示的內容類型。

舉例：Content-Type = Text/XML; charset=gb2312：

指明該請求的消息體中包含的是純文本的XML類型的數據，字符編碼采用“gb2312”。

服務端HTTP響應

HTTP響應也由四個部分組成，分別是： 狀態行、消息報頭、空行、響應正文

技術分享圖片

HTTP/1.1 200 OK
Server: Tengine
Connection: keep-alive
Date: Wed, 30 Nov 2016 07:58:21 GMT
Cache-Control: no-cache
Content-Type: text/html;charset=UTF-8
Keep-Alive: timeout=20
Vary: Accept-Encoding
Pragma: no-cache
X-NWS-LOG-UUID: bd27210a-24e5-4740-8f6c-25dbafa9c395
Content-Length: 180945

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" ....

常用的響應報頭(了解)

理論上所有的響應頭信息都應該是回應請求頭的。但是服務端為了效率，安全，還有其他方面的考慮，會添加相對應的響應頭信息，從上圖可以看到：

1. Cache-Control：must-revalidate, no-cache, private。

這個值告訴客戶端，服務端不希望客戶端緩存資源，在下次請求資源時，必須要從新請求服務器，不能從緩存副本中獲取資源。

  • Cache-Control是響應頭中很重要的信息，當客戶端請求頭中包含Cache-Control:max-age=0請求，明確表示不會緩存服務器資源時,Cache-Control作為作為回應信息，通常會返回no-cache，意思就是說，"那就不緩存唄"。

  • 當客戶端在請求頭中沒有包含Cache-Control時，服務端往往會定,不同的資源不同的緩存策略，比如說oschina在緩存圖片資源的策略就是Cache-Control：max-age=86400,這個意思是，從當前時間開始，在86400秒的時間內，客戶端可以直接從緩存副本中讀取資源，而不需要向服務器請求。

2. Connection：keep-alive

這個字段作為回應客戶端的Connection：keep-alive，告訴客戶端服務器的tcp連接也是一個長連接，客戶端可以繼續使用這個tcp連接發送http請求。

3. Content-Encoding:gzip

告訴客戶端，服務端發送的資源是采用gzip編碼的，客戶端看到這個信息後，應該采用gzip對資源進行解碼。

4. Content-Type：text/html;charset=UTF-8

告訴客戶端，資源文件的類型，還有字符編碼，客戶端通過utf-8對資源進行解碼，然後對資源進行html解析。通常我們會看到有些網站是亂碼的，往往就是服務器端沒有返回正確的編碼。

5. Date：Sun, 21 Sep 2016 06:18:21 GMT

這個是服務端發送資源時的服務器時間，GMT是格林尼治所在地的標準時間。http協議中發送的時間都是GMT的，這主要是解決在互聯網上，不同時區在相互請求資源的時候，時間混亂問題。

6. Expires:Sun, 1 Jan 2000 01:00:00 GMT

這個響應頭也是跟緩存有關的，告訴客戶端在這個時間前，可以直接訪問緩存副本，很顯然這個值會存在問題，因為客戶端和服務器的時間不一定會都是相同的，如果時間不同就會導致問題。所以這個響應頭是沒有Cache-Control：max-age=*這個響應頭準確的，因為max-age=date中的date是個相對時間，不僅更好理解，也更準確。

7. Pragma:no-cache

這個含義與Cache-Control等同。

8.Server：Tengine/1.4.6

這個是服務器和相對應的版本，只是告訴客戶端服務器的信息。

9. Transfer-Encoding：chunked

這個響應頭告訴客戶端，服務器發送的資源的方式是分塊發送的。一般分塊發送的資源都是服務器動態生成的，在發送時還不知道發送資源的大小，所以采用分塊發送，每一塊都是獨立的，獨立的塊都能標示自己的長度，最後一塊是0長度的，當客戶端讀到這個0長度的塊時，就可以確定資源已經傳輸完了。

10. Vary: Accept-Encoding

告訴緩存服務器，緩存壓縮文件和非壓縮文件兩個版本，現在這個字段用處並不大，因為現在的瀏覽器都是支持壓縮的。

響應狀態碼

響應狀態代碼有三位數字組成，第一個數字定義了響應的類別，且有五種可能取值。

常見狀態碼：

  • 100~199：表示服務器成功接收部分請求，要求客戶端繼續提交其余請求才能完成整個處理過程。

  • 200~299：表示服務器成功接收請求並已完成整個處理過程。常用200（OK 請求成功）。

  • 300~399：為完成請求，客戶需進一步細化請求。例如：請求的資源已經移動一個新地址、常用302（所請求的頁面已經臨時轉移至新的url）、307和304（使用緩存資源）。
  • 400~499：客戶端的請求有錯誤，常用404（服務器無法找到被請求的頁面）、403（服務器拒絕訪問，權限不夠）。
  • 500~599：服務器端出現錯誤，常用500（請求未完成。服務器遇到不可預知的情況）。

服務器和客戶端的交互僅限於請求/響應過程，結束之後便斷開，在下一次請求時，服務器會認為新的客戶端。

為了維護他們之間的鏈接，讓服務器知道這是前一個用戶發送的請求，必須在一個地方保存客戶端的信息。

Cookie：通過在 客戶端 記錄的信息確定用戶的身份。

Session：通過在 服務器端 記錄的信息確定用戶的身份。

Python學習之路 （四）爬蟲（三）HTTP和HTTPS

相關推薦

Python學習之路 （四）爬蟲（三）HTTP和HTTPS

CP 發出 net 長度 現在 消息頭 理論 LV 模型 HTTP和HTTPS HTTP協議（HyperText Transfer Protocol，超文本傳輸協議）：是一種發布和接收 HTML頁面的方法。 HTTPS（Hypertext Transfer Protoc

Python學習之路 （五）爬蟲（四）正則表示式爬去名言網

auth Python標準庫 我們 color 匯總 eight code 比較 school 爬蟲的四個主要步驟 明確目標 (要知道你準備在哪個範圍或者網站去搜索) 爬 (將所有的網站的內容全部爬下來) 取 (去掉對我們沒用處的數據) 處理數據（按照我們想要的

python學習之路（四）

[1] size class dex epc uri msu 語句 這就是 繼續昨天的學習，學到了數組。 首先有兩個數組，name1和name2.我們可以將兩個數組合並 name1=[1,2,3,4] name2=[5,6,7,8] names=name1.extend(

Python學習之路 （三）爬蟲（二）

版權 特殊 機器人 zhang col 取出 log arch robots 通用爬蟲和聚焦爬蟲 根據使用場景，網絡爬蟲可分為 通用爬蟲 和 聚焦爬蟲 兩種. 通用爬蟲 通用網絡爬蟲 是 捜索引擎抓取系統（Baidu、Google、Yahoo等）的重要組成部分。主要目

Pthon學習之路 第四篇 Python基礎（二）

pri bsp programs -s alt 如果 lex class 算數運算 1.運算符：+ - *（乘法） /（除法） %（求余） //（求商） **（求冪） 2.成員運算：in not in：判斷單個字符或者子序列在不在字符串中。（n

Python學習之路——第二彈（認識python）

內容 代碼結構 計算 戰術 個人 方法 十分 現在 目的 　　第一彈中我是說明了學習python的目的，主要為了自我提升的考慮，那麽為什麽我對python感興趣，python有什麽用了？本章就簡單說明下。 　　python的用途很廣，而且代碼十分簡潔，不像java、c等其他

python學習之路——第三彈 （作業篇第一題）

image 操作 啟動程序 代碼 color 鎖定文件 文件 文件內容 數據 作業一：編寫登錄接口1.輸入用戶名密碼2.認證成功後顯示歡迎信息3.輸錯三次後鎖定。 所需知識點 文件基本讀寫操作，循環，列表，字典 上面的作業題是在學習完數據類型和簡單的文件操作之後布置的，

python學習之路（三）使用socketserver進行ftp斷點續傳

def += __init__ con 不存在 不為 local 接收 class 最近學習python到socketserver，本著想試一下水的深淺，采用Python3.6. 目錄結構如下： receive_file和file為下載或上傳文件存放目錄,ftp_clie

python學習之路（十二）

pack 分享 psi python 模塊 shp 詳解 階段 new from 這節主要介紹一下import！很實用的調用模塊的功能。 導入模塊 是導入真實的代碼 而導入包 是導入包下面的 __init__() 文件 這兩個是不一樣的 先說模塊定義 模塊 它就是一個

我的Python學習之路（day1）

python　　一直以來都不喜歡開發，也比較排斥，於是大學分專業選擇了網絡工程。但是學院又不重視網絡，大四實習的時候都去培訓開發唯獨我選擇了繼續沿著網絡方向走下去。現在已經工作一年多了，傳統網絡工程師的需求已經非常小了。最終還是回到了開發，選擇了Python，開啟我人生的新征程。　　這是到今天為止我寫過最長的

python學習之路（二） -- 函數、JSON、終端樣式

blog ade def 數量 通過 等於 name tuple args 函數 函數構成 定義函數:使用def即可 def __getName(idCard): return user_info[idCard].Name 其中，__get

Python 學習之路（二）

在外 封裝 過程 數列 == 3.6 開頭 res form Python 學習之路（二） 以下所用的是Python 3.6 一、條件語句 簡單判斷 1 if 判斷條件： 2 執行語句…… 3 else： 4 執行語句…… 復雜判斷 1 if 判斷

Python學習之路（一）

Python 基礎 Python基礎學習1（1）變量在Python中用來存儲數據所指向的內存地址叫做變量（2）變量的命名變量的命名由數字，字母，下劃線組成，數字不能開頭；不要使用Python中的關鍵字和函數名稱來命名變量；命名時要簡明，具有描述性；變量名區分大小寫。命名方式遵循駝峰命名法和下劃線命名法

Python學習之路（3）——Python安裝以及環境變量的操作

all 頭部 http plain 雙擊 load 編譯 源碼 borde 安裝Python windows： 1 2 3 4 5 6 7 1、下載安裝包 https://www.python.org/downloads/ 2、安裝

Python學習之路（4）——變量

TP width urn pass 分享圖片 comment port cin alex 1、聲明變量 1 2 3 4 #!/usr/bin/env python # -*- coding: utf-8 -*- name = "wupeiqi"

Python學習之路（2）——Python種類介紹

VM 種類 廣泛 分享 java字節碼 流程 字節碼 基礎上 python Python的種類 Cpython Python的官方版本，使用C語言實現，使用最為廣泛，CPython實現會將源文件（py文件）轉換成字節碼文件（pyc文件），然後運行在Python虛擬

Day2----Python學習之路筆記（2）

cell 數據類型的轉換 編碼格式 python3 () shel 不能 索引 png 學習路線： Day1　　　　Day2　　　　Day3　　　　Day4　　　　Day5　　　　...待續　 一、簡單回顧一下昨天的內容 　　1. 昨天了解到了一些編碼的知識 1.1

Day1----Python學習之路筆記（1）

文件名 常見 python3 3.2 HP lob 計算機硬件 至少 數字 學習路線 Day1　　　　Day2　　　　Day3　　　　Day4　　　　Day5　　　　...待續　　　　 一、了解開發語言 　　1、高級語言：Python，Java，C++，C#，PHP，

python學習之路（基礎篇）——列表，字典，集合

cef mes 所有 聽說 基本 變量 .so tdi 作用 一、列表，元組操作 定義列表 names = [‘Alex‘,"Tenglan",‘Eric‘] 查看 >>> names[0] ‘Alex‘ >>> names[2]

python學習之路（基礎篇）——函數

pri inux 形參 定義變量 dev 函數計算 學生 span 指定 一、簡單介紹 三種編程： 面向對象 class 面向過程 def 函數式編程 def 過程是沒有返回值的函數 定義: 函數是指將一組語句的集合通過一個名字(函數名)封裝起來，