最近接觸爬蟲相關知識，將學習和網上了解到的一些東西記錄下來，以便以後需要。（刪除重新發一次）

HTTP通訊機制

HTTP(HyperText Transfer Protocol)是一套計算機通過網路進行通訊的規則。HTTP是一種無狀態的協議(Web瀏覽器和Web伺服器之間不需要建立持久的連線)，即一個客戶端向伺服器端發出請求（request），然後Web伺服器返回響應(response)，連線就被關閉了，在伺服器端不保留連線的有關資訊.HTTP遵循請求(Request)/應答(Response)模型。Web瀏覽器向Web伺服器傳送請求，Web伺服器處理請求並返回適當的應答。所有HTTP連線都被構造成一套請求和應答。

HTTP通訊機制是在一次完整的HTTP通訊過程中，Web瀏覽器與Web伺服器之間將完成下列4個步驟：

1. 建立TCP連線
   在HTTP工作開始之前，Web瀏覽器首先要通過網路與Web伺服器建立連線，該連線是通過TCP來完成的，該協議與IP協議共同構建Internet，即著名的TCP/IP協議族，因此Internet又被稱作是TCP/IP網路。HTTP是比TCP更高層次的應用層協議，根據規則，只有低層協議建立之後才能，才能進行更層協議的連線，因此，首先要建立TCP連線，一般TCP連線的埠號是80
2. Web瀏覽器向Web伺服器傳送請求
   一旦建立了TCP連線，Web瀏覽器就會向Web伺服器傳送請求，請求的具體格式及組成後面會詳細介紹
3. Web伺服器應答
   正如客戶端會隨同請求傳送關於自身的資訊一樣，伺服器也會隨同應答向用戶傳送關於它自己的資料及被請求的文件。
   Web伺服器向瀏覽器傳送頭資訊後，它會發送一個空白行來表示頭資訊的傳送到此為結束，接著，它就以Content-Type應答頭資訊所描述的格式傳送使用者所請求的實際資料
4. Web伺服器關閉TCP連線
   一般情況下，一旦Web伺服器向瀏覽器傳送了請求資料，它就要關閉TCP連線，但是如果瀏覽器或者伺服器在其頭資訊加入了這行程式碼
   Connection:keep-alive
   TCP連線在傳送後將仍然保持開啟狀態，於是，瀏覽器可以繼續通過相同的連線傳送請求。保持連線節省了為每個請求建立新連線所需的時間，還節約了網路頻寬。

關於http請求

http request的組成：

請求方法/URI協議/版本
請求頭(Request Header)
請求正文

如上兩圖是我在登入知乎首頁時用fiddler（一款抓包軟體）獲取的請求資訊：

1. 第一行：POST /login/email HTTP/1.1 對應本次請求的請求方法/URI協議/版本
2. 一圖第一行之後的即為請求頭（Request Header），請求頭包含許多有關的客戶端環境和請求正文的有用資訊。例如，請求頭可以宣告瀏覽器所用的語言，可接收的內容型別等。之後會貼上網上找的Http Herder的常見引數
3. 請求正文。請求頭和請求正文之間是一個空行，這個行非常重要，它表示請求頭已經結束，接下來的是請求正文。此處因為用fiddler擷取，fiddler自動將請求正文分離了，表現為圖二。請求正文可以包含客戶提交的資訊等。

關於http請求方法

OPTIONS 、HEAD 、GET、POST 、PUT 、DELETE 、TRACE。目前只接觸過GET方法與POST方法。

• GET方法

GET方法是預設的HTTP請求方法，它將我們需要提交的資料拼裝在url中，存在著安全隱患上。大概長這樣：http://www.julie.com/login.jsp?Name=zhangsan&password=123456從這個URL請求中，很容易就可以看到使用者提交的資料。（？之後的內容）另外由於GET方法提交的資料是作為URL請求的一部分所以提交的資料量不能太大

• POST方法

POST方法是GET方法的一個替代方法，POST方法克服了GET方法的一些缺點。通過POST方法提交表單資料時，資料不是作為URL請求的一部分而是作為標準資料傳送給Web伺服器，這就克服了GET方法中的資訊無法保密和資料量太小的缺點。因此，出於安全的考慮以及對使用者隱私的尊重，通常表單提交時採用POST方法。

關於http應答

http response組成：與http請求相對應，http應答也分為三個部分：

協議/版本/狀態程式碼描述
響應頭(Response Header)
響應正文

如圖登入知乎首頁的響應報文：

1. 第一行 HTTP/1.1 200 OK 對應本次響應的 協議/版本/狀態程式碼描述，後會貼上網上找的http返回碼總結。
2. 第一行後為響應頭，與請求頭類似響應頭也包含一些伺服器的資訊等。
3. 響應正文。響應正文為伺服器返回的html頁面，瀏覽器將其解析成我們看到的網頁。同請求頭與請求正文之間用空行分隔一樣，響應頭與響應正文之間也用空行分隔。

Http Header詳解

Request Header:

Response Header:

注：加粗個人最近常見。

返回碼總結

HTTP協議狀態碼錶示的意思主要分為五類,大體是:
1××　　保留
2××　　表示請求成功地接收
3××　　為完成請求客戶需進一步細化請求
4××　　客戶錯誤
5××　　伺服器錯誤

詳細劃分：