python爬蟲(二)_HTTP的請求和響應 python爬蟲(二)_HTTP的請求和響應
python爬蟲(二)_HTTP的請求和響應
HTTP和HTTPS
HTTP(HyperText Transfer Protocol，超文字傳輸協議)：是一種釋出和接收HTML頁面的方法
HTTPS(HyperText Transfer Protocol over Secure Socket Layer)簡單講是HTTP的安全版，在HTTP下加入SSL層。
SSL(Secure Socket Layer安全套接層)主要用於web的安全傳輸協議，在傳輸層對網路連線進行加密，保障在Internet上資料傳輸的安全。
HTTP的埠號為80
HTTPS的埠號為443
HTTP工作原理
網路爬蟲抓取過程可以理解為模擬瀏覽器操作的過程。
瀏覽器的主要功能是向伺服器發出請求，在瀏覽器視窗中展示您選擇的網路資源，HTTP是一套計算機通過網路進行通訊的規則。
HTTP的請求和響應
HTTP通訊由兩部分組成：客戶端請求訊息與伺服器響應訊息
瀏覽器傳送HTTP請求的過程
- 當用戶在瀏覽器的位址列中輸入一個URL兵按回車鍵之後，瀏覽器會向HTTP伺服器傳送HTTP請求。HTTP請求主要分為"Get"和"Post"兩種方法。
- 當我們在瀏覽器中輸入URL http://www.baidu.com的時候，瀏覽器傳送一個Request請求去獲取http://www.baidu.com的html檔案，伺服器把Response檔案物件傳送回瀏覽器。
- 瀏覽器分析Response的HTML，發現其中引用了很多其他檔案，比如Images檔案、CSS檔案、JS檔案。瀏覽器會自動再次傳送Response去獲取圖片，CSS檔案，或者JS檔案。
- 當所有的檔案都下載成功後，網頁會根據HTML語法結構，完整的顯示出來了。
URL(Uniform/Universal Resource Locator的縮寫)：統一資源定位符，是用於完整地描述Internet上網頁和其他資源的地址的一種標識方法。
基本格式：scheme://host[:port#]/path/..../[?query-string][#anchor]
- scheme：協議(例如：http、https、ftp)
- host：伺服器的IP地址或者域名
- port#：伺服器的埠(如果是走協議預設埠，預設埠80)
- path：訪問資源的路徑
- query-string：引數，傳送給http伺服器的資料
- anchor：錨(跳轉到網頁的指定錨點位置)
例如:
+ ftp://192.168.0.116:8080/index
+ http://www.baidu.com
+ http://item.jd.com/11936238.html#product-detail
客戶端HTTP請求
URL只是標識資源的位置，而HTTP是用來提交和獲取資源。客戶端傳送一個HTTP請求到伺服器的請求訊息，包括以下格式：
請求行、請求頭部、空行、請求資料
四個部分組成，下圖給出了請求報文的一般格式：
一個典型的HTTP請求例項：
GET https://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 Referer: http://www.baidu.com/ Accept-Encoding: gzip, deflate, sdch, br Accept-Language: zh-CN,zh;q=0.8,en;q=0.6 Cookie: BAIDUID=04E4001F34EA74AD4601512DD3C41A7B:FG=1; BIDUPSID=04E4001F34EA74AD4601512DD3C41A7B; PSTM=1470329258; MCITY=-343%3A340%3A; BDUSS=nF0MVFiMTVLcUh-Q2MxQ0M3STZGQUZ4N2hBa1FFRkIzUDI3QlBCZjg5cFdOd1pZQVFBQUFBJCQAAAAAAAAAAAEAAADpLvgG0KGyvLrcyfrG-AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAFaq3ldWqt5XN; H_PS_PSSID=1447_18240_21105_21386_21454_21409_21554; BD_UPN=12314753; sug=3; sugstore=0; ORIGIN=0; bdime=0; H_PS_645EC=7e2ad3QHl181NSPbFbd7PRUCE1LlufzxrcFmwYin0E6b%2BW8bbTMKHZbDP0g; BDSVRTM=0請求方法
GET https://www.baidu.com/ HTTP/1.1
根據HTTP標準，HTTP請求可以使用很多請求方法。
HTTP 0.9：只有基本的文字GET功能
HTTP 1.0：完善的請求/響應模型，並將協議補充完整，定義了三種請求方法：GET、POST和HEAD方法。
HTTP 1.1：在1.0的基礎上進行更新，新增了五種請求方法：OPTIONS,PUT,DELETE,TRACE和CONNECT方法。
HTTP 2.0(未普及)：請求/響應首部的定義基本沒有改變，只是所有首部鍵必須全部小寫，而且請求行要獨立為:method、:scheme、:host、:path這些鍵值對
| 序號 | 方法 | 描述 |
|---|---|---|
| 1 | GET | 請求指定的頁面資訊，並返回實體主體。 |
| 2 | HEAD | 類似於get請求，只不過返回的響應中沒有具體的內容，用於獲取報頭 |
| 3 | POST | 向指定資源提交資料進行處理請求（例如提交表單或者上傳檔案），資料被包含在請求體中。POST請求可能會導致新的資源的建立和/或已有資源的修改。 |
| 4 | PUT | 從客戶端向伺服器傳送的資料取代指定的文件的內容。 |
| 5 | DELETE | 請求伺服器刪除指定的頁面。 |
| 6 | CONNECT | HTTP/1.1協議中預留給能夠將連線改為管道方式的代理伺服器。 |
| 7 | OPTIONS | 允許客戶端檢視伺服器的效能。 |
| 8 | TRACE | 回顯伺服器收到的請求，主要用於測試或診斷。 |
HTTP請求主要分為GET和POST兩種方法
- GET是從伺服器上獲取資料，POST是向伺服器傳送資料
- GET請求引數顯示在瀏覽器網址上，HTTP伺服器根據該請求所包含URL中的引數來產生響應內容，即"Get"請求的引數是URL的一部分。例如:
http://www.baidu.com/s?wd=Chinese
-
POST請求引數在請求體中，訊息長度沒有限制而且以隱式的方式進行傳送，通常用來向HTTP伺服器提交量比較大的資料(比如請求體中包含許多引數或者檔案上床操作等)，請求的引數包含在"Content-Type"訊息頭裡，指明該訊息體的媒體型別和編碼。
注意：避免使用GET方式提交表單，因為有可能會導致安全問題。比如說在登陸表單中用GET方式，使用者輸入的使用者名稱和密碼將在位址列中暴露無遺。
常用的請求頭
1、Host(主機和埠號)
Host：對應網址URL中的web名稱和埠號，用於指定被請求資源的Internet主機和埠號，通常屬於URL的一部分。
2. Connection(連結型別)
Connection：表示客戶端與伺服器連結型別
-
Client發起一個包含
Connection: keep-alive的請求，HTTP/1.1使用keep-alive為預設值。 -
Server收到請求後：
如果Server支援keep-alive,回覆一個包含Connection:keep-alive的響應，不關閉連線；如果Server不支援keep-alive,回覆一個包含Connection:close的響應，關閉連線。
-
如果client收到包含
Connection:keep-alive的響應，向同一個連線傳送下一個請求，直到乙方主動關閉連線。keep-alive在很多情況下能夠重用連線，減少資源消耗，縮短響應時間，比如當瀏覽器器需要多個檔案時(比如一個HTML檔案和相關的圖形檔案)，不需要每次都去請求建立連線。
3.Upgrade-Insecure-Request(升級為HTTPS請求)
Upgrade-Insecure-Requests：升級不安全的的請求，意思是會在載入http資源時自動替換成成https請求，讓瀏覽器不再顯示https頁面中的http請求警報。
HTTPS是以安全為目標的HTTP通道，所以在HTTPS承載的頁面上不允許出現HTTP請求，一旦出現就是提示或報警。
4.User-Agent(瀏覽器名稱)
User-Agent：是客戶端瀏覽器的名稱，以後會詳細講。
5.Accept(傳輸檔案型別)
Accept：指瀏覽器或其他客戶端可以接收的MIME(Multipurpose Internet Mail Extensions(多用途網際網路郵件擴充套件))檔案型別，伺服器可以根據它判斷並返回適當的檔案格式。
舉例：
Accept: */*：表示什麼都可以接收。
Accept: image/gif：表明客戶端希望接受GIF影象格式的資源。
Accept: text/html：表明客戶端希望接受html文字。
Accept: text/html, application/xhtml+xml;q=0.9, image/*;q=0.8：表示瀏覽器支援的MIME型別分別是html文字、xhtml和xml文件、所有的影象格式資源。
q是權重係數，範圍0<= q <= 1，q值越大，請求越傾向於獲得其";"之前的型別表示的內容。若沒有指定q值，則預設為1，按從左到右排序順序；若被賦值為0，則用於表示瀏覽器不接受此內容型別。
Text：用於標準化地表示的文字資訊，文字訊息可以是多種字符集或者多種格式；Application：用於傳輸應用程式資料或者二級制資料。詳情請點選
6. Referer(頁面跳轉處)
Referer:表明產生請求的網頁來自於哪個URL，使用者是從該Referer頁面訪問當當前請求的頁面。這個屬性可以用來跟蹤WEB請求來自哪個頁面，是從什麼網站來的。
有時候遇到下載某網站圖片，需要對應的Referer,否則無法下載圖片，那是因為人家做了防盜鏈，原理就是根據referer去判斷是否是本網站的地址，如果不是，則拒絕，如果是，就可以下載；
7. Accept-Encoding(檔案編碼格式)
Accept-Encoding：指出瀏覽器可以接收的編碼方式。編碼方式不同於檔案格式，它是為了壓縮檔案並加速檔案傳輸速度。瀏覽器在接收到WEB端相應之後編碼，然後再檢查檔案格式，許多情形下還可以減少大量的下載時間。
**舉例：Accept-Encoding:gzip;q=1.0,identity;q=0.5,*;q=0**
如果有多個Encoding同時匹配，按照q值順序排列，本例中按順序支援gzip,identity壓縮編碼，支援gzip的瀏覽器會返回經過gzip編碼的HTML頁面。如果請求訊息中沒有設定這個域伺服器假定客戶端對各種內容編碼都可以接收。
8. Accept-Language(語言種類)
Accept-Language：指出瀏覽器可以接受的語言種類，如en或en-us指英語，zh或者zh-cn指中文，當伺服器能夠提供一種以上的語言版本時要用到。
9. Accept-Charset(字元編碼)
Accept-Charset：指出瀏覽器可以接收的字元編碼
舉例：Accept-Charset:sio-8859-1,gb2312,utf-8**
- ISO8859-1：通常叫做Latin-1。Latin-1包括了書寫所有西方歐洲語言不可缺少的附加字元，英文瀏覽器的預設值是ISO-8859-1。
- gb2312：標準簡體中文字符集；
- UTF-8：UNICODE的一種邊長字元編碼，可以解決多種語言文字顯示問題，從而實現應用國際化和本地化。
如果在請求訊息中沒有設定這個域，預設是任何字符集都可以接受。
10.Cookie(Cookie)
Cookie：瀏覽器用這個屬性向伺服器傳送Cookie。Cookie實在瀏覽器中寄存的小型資料體，它可以記載和伺服器相關的使用者資訊，也可以用來實現會話功能，以後會詳細講。
11. Content-Type(POST資料型別)
Content-Type：POST請求裡用來表示的內容型別。
舉例：Content-Type=Text/XML;charset=gb2312;
指明該請求的訊息體中包含的是純文字的XML型別的資料，字元編碼採用"gb2312"
服務端HTTP響應
HTTP響應也由四個部分，分別是：狀態行、訊息報頭、空行、響應正文
HTTP/1.1 200 OK
Server: Tengine
Connection: keep-alive
Date: Wed, 30 Nov 2016 07:58:21 GMT Cache-Control: no-cache Content-Type: text/html;charset=UTF-8 Keep-Alive: timeout=20 Vary: Accept-Encoding Pragma: no-cache X-NWS-LOG-UUID: bd27210a-24e5-4740-8f6c-25dbafa9c395 Content-Length: 180945 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" ....常用的響應報頭(瞭解)
1.Cache-Control：must-revalidate, no-cache, private。
這個值告訴客戶端，服務端不希望客戶端快取資源，在下次請求資源時，必須要重新請求伺服器，不能從快取副本中獲取資源。
- Cache-Control是響應頭中很重要的資訊，當客戶端請求頭中包含Cache-Control：max-age=0請求，明確表示不會快取伺服器資源時，Cache-Control作為迴應響應，通常會返回no-cache，意思是說，“那就不快取唄”。
- 當客戶端在請求頭中沒有包含Cache-Control時，服務端往往會根據不同的資源確定不同的快取忽略，比如說oschina在快取圖片資源的策略就是Cache-Control:max-age=86400,這個意思是，從當前時間開始，在86400秒的時間內，客戶端可以直接從快取副本中讀取資源，而不需要向伺服器請求。
2.Connection:keep-alive
這個欄位作為迴應客戶端的Connection:keep-alive，告訴客戶端伺服器的tcp連線也是一個長連線，客戶端可以繼續使用這個tcp連線傳送http請求。
3.Content-Encoding:gzip
告訴客戶端，伺服器傳送的資源是採用gzip編碼的，客戶端看到這個資訊後，應該採用gzip對資源進行解碼。
4.Content-Type:text/html;charset=UTF-8
告訴客戶端，資原始檔的型別，還有字元編碼，客戶端通過utf-8對資源進行解碼，然後對資源進行html解析。通常我們會看到有些網站是亂碼的，往往就是伺服器端沒有返回正確的編碼。
5.Date: Sun, 21 Sep 2016 06:18:21 GMT
這個就是服務端傳送資源的伺服器時間，GMT是格林尼治所在地的標準時間。http協議中傳送的時間都是GMT，這主要是解決在網際網路上，不同時區在相互請求資源的時候，時間混亂問題。
6.Expires:Sun, 1 Jan 2000 01:00:00 GMT
這個響應頭也是快取有關的，告訴客戶端在這個時間前，可以直接訪問快取副本，很顯然這個值會存在問題，因為客戶端和伺服器的時間不一定會相應，如果時間不同就會導致問題。所以這個響應頭是沒有Cache-Control：max-age=*這個響應頭準確的，因為max-age=date中的date是相應時間，不僅更好理解，也更準確。
7.Pragma:no-cache
這個含義與Cache-Control等同。
8.Server:Tengine/1.4.6
這個是伺服器和相應版本，只是告訴客戶端伺服器的資訊。
9.Transfer-Encoding: chunked
這個響應頭告訴客戶端，伺服器傳送的資源的方式是分塊傳送的。一般分塊傳送的資源都是伺服器動態生成的，在傳送時還不知道傳送資源的大小，所以採用分塊傳送，每一塊都是獨立的，獨立的塊都能表示自己的長度，最後一塊是0長度的，當客戶端讀到這個0長度的塊時，就可以確定資源已經傳輸完了。
10.Vary:Accept-Encoding
告訴快取伺服器，快取壓縮檔案和非壓縮檔案兩個版本，現在這個欄位用處並不大，因為現在的瀏覽器都是支援壓縮的。
響應狀態碼
響應的狀態碼有三位數字組成，第一個數字定義了響應的 類別，且有五種可能取值。
常見狀態碼：
100~199：表示伺服器成功接收部分請求，要求客戶端繼續提交其餘請求才能完成整個處理過程。
200~299：表示伺服器成功接收請求並已完成整個處理過程。常用200（OK請求成功）。
300~399：為完成請求，客戶需進一步細化請求。例如：請求的資源已經移動到新地址、常用302(所請求的頁面已經臨時轉移到新的url)、307和304(使用快取資源)
400~499：哭護短的請求有錯誤，常用404(伺服器無法找到被請求的頁面)、403(伺服器拒絕訪問，許可權不夠)
500~599：伺服器出現錯誤，常用500(請求未完成。伺服器餘姚不可預知的狀況)。
Cookie和Session:
伺服器和客戶端的互動僅限於請求/響應過程，結束之後便斷開，在下一次請求時，伺服器會認為新的客戶端。
為了維護他們之間的連結，讓伺服器知道這是前一個使用者傳送的請求，必須在一個地方儲存客戶端的資訊。
Cookie：通過在 客戶端 記錄的資訊確定使用者的身份。
Session：通過在 伺服器端 記錄的資訊確定使用者的身份。
HTTP和HTTPS
HTTP(HyperText Transfer Protocol，超文字傳輸協議)：是一種釋出和接收HTML頁面的方法
HTTPS(HyperText Transfer Protocol over Secure Socket Layer)簡單講是HTTP的安全版，在HTTP下加入SSL層。
SSL(Secure Socket Layer安全套接層)主要用於web的安全傳輸協議，在傳輸層對網路連線進行加密，保障在Internet上資料傳輸的安全。
HTTP的埠號為80
HTTPS的埠號為443
HTTP工作原理
網路爬蟲抓取過程可以理解為模擬瀏覽器操作的過程。
瀏覽器的主要功能是向伺服器發出請求，在瀏覽器視窗中展示您選擇的網路資源，HTTP是一套計算機通過網路進行通訊的規則。
HTTP的請求和響應
HTTP通訊由兩部分組成：客戶端請求訊息與伺服器響應訊息
瀏覽器傳送HTTP請求的過程
- 當用戶在瀏覽器的位址列中輸入一個URL兵按回車鍵之後，瀏覽器會向HTTP伺服器傳送HTTP請求。HTTP請求主要分為"Get"和"Post"兩種方法。
- 當我們在瀏覽器中輸入URL http://www.baidu.com的時候，瀏覽器傳送一個Request請求去獲取http://www.baidu.com的html檔案，伺服器把Response檔案物件傳送回瀏覽器。
- 瀏覽器分析Response的HTML，發現其中引用了很多其他檔案，比如Images檔案、CSS檔案、JS檔案。瀏覽器會自動再次傳送Response去獲取圖片，CSS檔案，或者JS檔案。
- 當所有的檔案都下載成功後，網頁會根據HTML語法結構，完整的顯示出來了。
URL(Uniform/Universal Resource Locator的縮寫)：統一資源定位符，是用於完整地描述Internet上網頁和其他資源的地址的一種標識方法。
基本格式：scheme://host[:port#]/path/..../[?query-string][#anchor]
- scheme：協議(例如：http、https、ftp)
- host：伺服器的IP地址或者域名
- port#：伺服器的埠(如果是走協議預設埠，預設埠80)
- path：訪問資源的路徑
- query-string：引數，傳送給http伺服器的資料
- anchor：錨(跳轉到網頁的指定錨點位置)
例如:
+ ftp://192.168.0.116:8080/index
+ http://www.baidu.com
+ http://item.jd.com/11936238.html#product-detail
客戶端HTTP請求
URL只是標識資源的位置，而HTTP是用來提交和獲取資源。客戶端傳送一個HTTP請求到伺服器的請求訊息，包括以下格式：
請求行、請求頭部、空行、請求資料
四個部分組成，下圖給出了請求報文的一般格式：
一個典型的HTTP請求例項：
GET https://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 Referer: http://www.baidu.com/ Accept-Encoding: gzip, deflate, sdch, br Accept-Language: zh-CN,zh;q=0.8,en;q=0.6 Cookie: BAIDUID=04E4001F34EA74AD4601512DD3C41A7B:FG=1; BIDUPSID=04E4001F34EA74AD4601512DD3C41A7B; PSTM=1470329258; MCITY=-343%3A340%3A; BDUSS=nF0MVFiMTVLcUh-Q2MxQ0M3STZGQUZ4N2hBa1FFRkIzUDI3QlBCZjg5cFdOd1pZQVFBQUFBJCQAAAAAAAAAAAEAAADpLvgG0KGyvLrcyfrG-AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAFaq3ldWqt5XN; H_PS_PSSID=1447_18240_21105_21386_21454_21409_21554; BD_UPN=12314753; sug=3; sugstore=0; ORIGIN=0; bdime=0; H_PS_645EC=7e2ad3QHl181NSPbFbd7PRUCE1LlufzxrcFmwYin0E6b%2BW8bbTMKHZbDP0g; BDSVRTM=0請求方法
GET https://www.baidu.com/ HTTP/1.1
根據HTTP標準，HTTP請求可以使用很多請求方法。
HTTP 0.9：只有基本的文字GET功能
HTTP 1.0：完善的請求/響應模型，並將協議補充完整，定義了三種請求方法：GET、POST和HEAD方法。
HTTP 1.1：在1.0的基礎上進行更新，新增了五種請求方法：OPTIONS,PUT,DELETE,TRACE和CONNECT方法。
HTTP 2.0(未普及)：請求/響應首部的定義基本沒有改變，只是所有首部鍵必須全部小寫，而且請求行要獨立為:method、:scheme、:host、:path這些鍵值對
| 序號 | 方法 | 描述 |
|---|---|---|
| 1 | GET | 請求指定的頁面資訊，並返回實體主體。 |
| 2 | HEAD | 類似於get請求，只不過返回的響應中沒有具體的內容，用於獲取報頭 |
| 3 | POST | 向指定資源提交資料進行處理請求（例如提交表單或者上傳檔案），資料被包含在請求體中。POST請求可能會導致新的資源的建立和/或已有資源的修改。 |
| 4 | PUT | 從客戶端向伺服器傳送的資料取代指定的文件的內容。 |
| 5 | DELETE | 請求伺服器刪除指定的頁面。 |
| 6 | CONNECT | HTTP/1.1協議中預留給能夠將連線改為管道方式的代理伺服器。 |
| 7 | OPTIONS | 允許客戶端檢視伺服器的效能。 |
| 8 | TRACE | 回顯伺服器收到的請求，主要用於測試或診斷。 |
HTTP請求主要分為GET和POST兩種方法
- GET是從伺服器上獲取資料，POST是向伺服器傳送資料
- GET請求引數顯示在瀏覽器網址上，HTTP伺服器根據該請求所包含URL中的引數來產生響應內容，即"Get"請求的引數是URL的一部分。例如:
http://www.baidu.com/s?wd=Chinese
-
POST請求引數在請求體中，訊息長度沒有限制而且以隱式的方式進行傳送，通常用來向HTTP伺服器提交量比較大的資料(比如請求體中包含許多引數或者檔案上床操作等)，請求的引數包含在"Content-Type"訊息頭裡，指明該訊息體的媒體型別和編碼。
注意：避免使用GET方式提交表單，因為有可能會導致安全問題。比如說在登陸表單中用GET方式，使用者輸入的使用者名稱和密碼將在位址列中暴露無遺。
常用的請求頭
1、Host(主機和埠號)
Host：對應網址URL中的web名稱和埠號，用於指定被請求資源的Internet主機和埠號，通常屬於URL的一部分。
2. Connection(連結型別)
Connection：表示客戶端與伺服器連結型別
-
Client發起一個包含
Connection: keep-alive的請求，HTTP/1.1使用keep-alive為預設值。 -
Server收到請求後：
如果Server支援keep-alive,回覆一個包含Connection:keep-alive的響應，不關閉連線；如果Server不支援keep-alive,回覆一個包含Connection:close的響應，關閉連線。
-
如果client收到包含
Connection:keep-alive的響應，向同一個連線傳送下一個請求，直到乙方主動關閉連線。keep-alive在很多情況下能夠重用連線，減少資源消耗，縮短響應時間，比如當瀏覽器器需要多個檔案時(比如一個HTML檔案和相關的圖形檔案)，不需要每次都去請求建立連線。
3.Upgrade-Insecure-Request(升級為HTTPS請求)
Upgrade-Insecure-Requests：升級不安全的的請求，意思是會在載入http資源時自動替換成成https請求，讓瀏覽器不再顯示https頁面中的http請求警報。
HTTPS是以安全為目標的HTTP通道，所以在HTTPS承載的頁面上不允許出現HTTP請求，一旦出現就是提示或報警。
4.User-Agent(瀏覽器名稱)
User-Agent：是客戶端瀏覽器的名稱，以後會詳細講。
5.Accept(傳輸檔案型別)
Accept：指瀏覽器或其他客戶端可以接收的MIME(Multipurpose Internet Mail Extensions(多用途網際網路郵件擴充套件))檔案型別，伺服器可以根據它判斷並返回適當的檔案格式。
舉例：
Accept: */*：表示什麼都可以接收。
Accept: image/gif：表明客戶端希望接受GIF影象格式的資源。
Accept: text/html：表明客戶端希望接受html文字。
Accept: text/html, application/xhtml+xml;q=0.9, image/*;q=0.8：表示瀏覽器支援的MIME型別分別是html文字、xhtml和xml文件、所有的影象格式資源。
q是權重係數，範圍0<= q <= 1，q值越大，請求越傾向於獲得其";"之前的型別表示的內容。若沒有指定q值，則預設為1，按從左到右排序順序；若被賦值為0，則用於表示瀏覽器不接受此內容型別。
Text：用於標準化地表示的文字資訊，文字訊息可以是多種字符集或者多種格式；Application：用於傳輸應用程式資料或者二級制資料。詳情請點選
6. Referer(頁面跳轉處)
Referer:表明產生請求的網頁來自於哪個URL，使用者是從該Referer頁面訪問當當前請求的頁面。這個屬性可以用來跟蹤WEB請求來自哪個頁面，是從什麼網站來的。
有時候遇到下載某網站圖片，需要對應的Referer,否則無法下載圖片，那是因為人家做了防盜鏈，原理就是根據referer去判斷是否是本網站的地址，如果不是，則拒絕，如果是，就可以下載；
7. Accept-Encoding(檔案編碼格式)
Accept-Encoding：指出瀏覽器可以接收的編碼方式。編碼方式不同於檔案格式，它是為了壓縮檔案並加速檔案傳輸速度。瀏覽器在接收到WEB端相應之後編碼，然後再檢查檔案格式，許多情形下還可以減少大量的下載時間。
**舉例：Accept-Encoding:gzip;q=1.0,identity;q=0.5,*;q=0**
如果有多個Encoding同時匹配，按照q值順序排列，本例中按順序支援gzip,identity壓縮編碼，支援gzip的瀏覽器會返回經過gzip編碼的HTML頁面。如果請求訊息中沒有設定這個域伺服器假定客戶端對各種內容編碼都可以接收。
8. Accept-Language(語言種類)
Accept-Language：指出瀏覽器可以接受的語言種類，如en或en-us指英語，zh或者zh-cn指中文，當伺服器能夠提供一種以上的語言版本時要用到。
9. Accept-Charset(字元編碼)
Accept-Charset：指出瀏覽器可以接收的字元編碼
舉例：Accept-Charset:sio-8859-1,gb2312,utf-8**
- ISO8859-1：通常叫做Latin-1。Latin-1包括了書寫所有西方歐洲語言不可缺少的附加字元，英文瀏覽器的預設值是ISO-8859-1。
- gb2312：標準簡體中文字符集；
- UTF-8：UNICODE的一種邊長字元編碼，可以解決多種語言文字顯示問題，從而實現應用國際化和本地化。
如果在請求訊息中沒有設定這個域，預設是任何字符集都可以接受。
10.Cookie(Cookie)
Cookie：瀏覽器用這個屬性向伺服器傳送Cookie。Cookie實在瀏覽器中寄存的小型資料體，它可以記載和伺服器相關的使用者資訊，也可以用來實現會話功能，以後會詳細講。
11. Content-Type(POST資料型別)
Content-Type：POST請求裡用來表示的內容型別。
舉例：Content-Type=Text/XML;charset=gb2312;
指明該請求的訊息體中包含的是純文字的XML型別的資料，字元編碼採用"gb2312"
服務端HTTP響應
HTTP響應也由四個部分，分別是：狀態行、訊息報頭、空行、響應正文
HTTP/1.1 200 OK
Server: Tengine
Connection: keep-alive
Date: Wed, 30 Nov 2016 07:58:21 GMT Cache-Control: no-cache Content-Type: text/html;charset=UTF-8 Keep-Alive: timeout=20 Vary: Accept-Encoding Pragma: no-cache X-NWS-LOG-UUID: bd27210a-24e5-4740-8f6c-25dbafa9c395 Content-Length: 180945 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" ....常用的響應報頭(瞭解)
1.Cache-Control：must-revalidate, no-cache, private。
這個值告訴客戶端，服務端不希望客戶端快取資源，在下次請求資源時，必須要重新請求伺服器，不能從快取副本中獲取資源。
- Cache-Control是響應頭中很重要的資訊，當客戶端請求頭中包含Cache-Control：max-age=0請求，明確表示不會快取伺服器資源時，Cache-Control作為迴應響應，通常會返回no-cache，意思是說，“那就不快取唄”。
- 當客戶端在請求頭中沒有包含Cache-Control時，服務端往往會根據不同的資源確定不同的快取忽略，比如說oschina在快取圖片資源的策略就是Cache-Control:max-age=86400,這個意思是，從當前時間開始，在86400秒的時間內，客戶端可以直接從快取副本中讀取資源，而不需要向伺服器請求。
2.Connection:keep-alive
這個欄位作為迴應客戶端的Connection:keep-alive，告訴客戶端伺服器的tcp連線也是一個長連線，客戶端可以繼續使用這個tcp連線傳送http請求。
3.Content-Encoding:gzip
告訴客戶端，伺服器傳送的資源是採用gzip編碼的，客戶端看到這個資訊後，應該採用gzip對資源進行解碼。
4.Content-Type:text/html;charset=UTF-8
告訴客戶端，資原始檔的型別，還有字元編碼，客戶端通過utf-8對資源進行解碼，然後對資源進行html解析。通常我們會看到有些網站是亂碼的，往往就是伺服器端沒有返回正確的編碼。
5.Date: Sun, 21 Sep 2016 06:18:21 GMT
這個就是服務端傳送資源的伺服器時間，GMT是格林尼治所在地的標準時間。http協議中傳送的時間都是GMT，這主要是解決在網際網路上，不同時區在相互請求資源的時候，時間混亂問題。
6.Expires:Sun, 1 Jan 2000 01:00:00 GMT
這個響應頭也是快取有關的，告訴客戶端在這個時間前，可以直接訪問快取副本，很顯然這個值會存在問題，因為客戶端和伺服器的時間不一定會相應，如果時間不同就會導致問題。所以這個響應頭是沒有Cache-Control：max-age=*這個響應頭準確的，因為max-age=date中的date是相應時間，不僅更好理解，也更準確。
7.Pragma:no-cache
這個含義與Cache-Control等同。
8.Server:Tengine/1.4.6
這個是伺服器和相應版本，只是告訴客戶端伺服器的資訊。
9.Transfer-Encoding: chunked
這個響應頭告訴客戶端，伺服器傳送的資源的方式是分塊傳送的。一般分塊傳送的資源都是伺服器動態生成的，在傳送時還不知道傳送資源的大小，所以採用分塊傳送，每一塊都是獨立的，獨立的塊都能表示自己的長度，最後一塊是0長度的，當客戶端讀到這個0長度的塊時，就可以確定資源已經傳輸完了。
10.Vary:Accept-Encoding
告訴快取伺服器，快取壓縮檔案和非壓縮檔案兩個版本，現在這個欄位用處並不大，因為現在的瀏覽器都是支援壓縮的。
響應狀態碼
響應的狀態碼有三位數字組成，第一個數字定義了響應的 類別，且有五種可能取值。
常見狀態碼：
100~199：表示伺服器成功接收部分請求，要求客戶端繼續提交其餘請求才能完成整個處理過程。
200~299：表示伺服器成功接收請求並已完成整個處理過程。常用200（OK請求成功）。
300~399：為完成請求，客戶需進一步細化請求。例如：請求的資源已經移動到新地址、常用302(所請求的頁面已經臨時轉移到新的url)、307和304(使用快取資源)
400~499：哭護短的請求有錯誤，常用404(伺服器無法找到被請求的頁面)、403(伺服器拒絕訪問，許可權不夠)
500~599：伺服器出現錯誤，常用500(請求未完成。伺服器餘姚不可預知的狀況)。
Cookie和Session:
伺服器和客戶端的互動僅限於請求/響應過程，結束之後便斷開，在下一次請求時，伺服器會認為新的客戶端。
為了維護他們之間的連結，讓伺服器知道這是前一個使用者傳送的請求，必須在一個地方儲存客戶端的資訊。
Cookie：通過在 客戶端 記錄的資訊確定使用者的身份。
Session：通過在 伺服器端 記錄的資訊確定使用者的身份。