python 爬蟲基礎知識(繼續補充)
學了這麽久爬蟲,今天整理一下相關知識點,還會繼續更新
HTTP和HTTPS
HTTP協議（HyperText Transfer Protocol，超文本傳輸協議）：是一種發布和接收 HTML頁面的方法。
HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）簡單講是HTTP的安全版，在HTTP下加入SSL層。
SSL（Secure Sockets Layer 安全套接層）主要用於Web的安全傳輸協議，在傳輸層對網絡連接進行加密，保障在Internet上數據傳輸的安全。
HTTP的端口號為80，HTTPS的端口號為443
HTTP工作原理
網絡爬蟲抓取過程可以理解為模擬瀏覽器操作的過程。
瀏覽器的主要功能是向服務器發出請求，在瀏覽器窗口中展示您選擇的網絡資源，HTTP是一套計算機通過網絡進行通信的規則。
HTTP請求主要分為Get和Post兩種方法
-
GET是從服務器上獲取數據，POST是向服務器傳送數據
-
GET請求參數顯示，都顯示在瀏覽器網址上，HTTP服務器根據該請求所包含URL中的參數來產生響應內容，即“Get”請求的參數是URL的一部分。 例如：
http://www.baidu.com/s?wd=Chinese -
POST請求參數在請求體當中，消息長度沒有限制而且以隱式的方式進行發送，通常用來向HTTP服務器提交量比較大的數據（比如請求中包含許多參數或者文件上傳操作等），請求的參數包含在“Content-Type”消息頭裏，指明該消息體的媒體類型和編碼，
註意：避免使用Get方式提交表單，因為有可能會導致安全問題。 比如說在登陸表單中用Get方式，用戶輸入的用戶名和密碼將在地址欄中暴露無遺。
常用的請求報頭:
1. Host (主機和端口號)
Host：對應網址URL中的Web名稱和端口號，用於指定被請求資源的Internet主機和端口號，通常屬於URL的一部分。
2. Connection (鏈接類型)
Connection：表示客戶端與服務連接類型
-
Client 發起一個包含
Connection:keep-alive的請求，HTTP/1.1使用keep-alive為默認值。 -
Server收到請求後：
- 如果 Server 支持 keep-alive，回復一個包含 Connection:keep-alive 的響應，不關閉連接；
- 如果 Server 不支持 keep-alive，回復一個包含 Connection:close 的響應，關閉連接。
-
如果client收到包含
Connection:keep-alive的響應，向同一個連接發送下一個請求，直到一方主動關閉連接。
keep-alive在很多情況下能夠重用連接，減少資源消耗，縮短響應時間，比如當瀏覽器需要多個文件時(比如一個HTML文件和相關的圖形文件)，不需要每次都去請求建立連接。
3. Upgrade-Insecure-Requests (升級為HTTPS請求)
Upgrade-Insecure-Requests：升級不安全的請求，意思是會在加載 http 資源時自動替換成 https 請求，讓瀏覽器不再顯示https頁面中的http請求警報。
HTTPS 是以安全為目標的 HTTP 通道，所以在 HTTPS 承載的頁面上不允許出現 HTTP 請求，一旦出現就是提示或報錯。
4. User-Agent (瀏覽器名稱)
User-Agent：是客戶瀏覽器的名稱
5. Accept (傳輸文件類型)
Accept：指瀏覽器或其他客戶端可以接受的MIME（Multipurpose Internet Mail Extensions（多用途互聯網郵件擴展））文件類型，服務器可以根據它判斷並返回適當的文件格式。
舉例：
Accept: */*：表示什麽都可以接收。
Accept：image/gif：表明客戶端希望接受GIF圖像格式的資源；
Accept：text/html：表明客戶端希望接受html文本。
Accept: text/html, application/xhtml+xml;q=0.9, image/*;q=0.8：表示瀏覽器支持的 MIME 類型分別是 html文本、xhtml和xml文檔、所有的圖像格式資源。
q是權重系數，範圍 0 =< q <= 1，q 值越大，請求越傾向於獲得其“;”之前的類型表示的內容。若沒有指定q值，則默認為1，按從左到右排序順序；若被賦值為0，則用於表示瀏覽器不接受此內容類型。
Text：用於標準化地表示的文本信息，文本消息可以是多種字符集和或者多種格式的；Application：用於傳輸應用程序數據或者二進制數據。詳細請點擊
6. Referer (頁面跳轉處)
Referer：表明產生請求的網頁來自於哪個URL，用戶是從該 Referer頁面訪問到當前請求的頁面。這個屬性可以用來跟蹤Web請求來自哪個頁面，是從什麽網站來的等。
有時候遇到下載某網站圖片，需要對應的referer，否則無法下載圖片，那是因為人家做了防盜鏈，原理就是根據referer去判斷是否是本網站的地址，如果不是，則拒絕，如果是，就可以下載；
7. Accept-Encoding（文件編解碼格式）
Accept-Encoding：指出瀏覽器可以接受的編碼方式。編碼方式不同於文件格式，它是為了壓縮文件並加速文件傳遞速度。瀏覽器在接收到Web響應之後先解碼，然後再檢查文件格式，許多情形下這可以減少大量的下載時間。
舉例：Accept-Encoding:gzip;q=1.0, identity; q=0.5, *;q=0
如果有多個Encoding同時匹配, 按照q值順序排列，本例中按順序支持 gzip, identity壓縮編碼，支持gzip的瀏覽器會返回經過gzip編碼的HTML頁面。 如果請求消息中沒有設置這個域服務器假定客戶端對各種內容編碼都可以接受。
8. Accept-Language（語言種類）
Accept-Langeuage：指出瀏覽器可以接受的語言種類，如en或en-us指英語，zh或者zh-cn指中文，當服務器能夠提供一種以上的語言版本時要用到。
9. Accept-Charset（字符編碼）
Accept-Charset：指出瀏覽器可以接受的字符編碼。
舉例：Accept-Charset:iso-8859-1,gb2312,utf-8
- ISO8859-1：通常叫做Latin-1。Latin-1包括了書寫所有西方歐洲語言不可缺少的附加字符，英文瀏覽器的默認值是ISO-8859-1.
- gb2312：標準簡體中文字符集;
- utf-8：UNICODE 的一種變長字符編碼，可以解決多種語言文本顯示問題，從而實現應用國際化和本地化。
如果在請求消息中沒有設置這個域，缺省是任何字符集都可以接受。
10. Cookie （Cookie）
Cookie：瀏覽器用這個屬性向服務器發送Cookie。Cookie是在瀏覽器中寄存的小型數據體，它可以記載和服務器相關的用戶信息，也可以用來實現會話功能，以後會詳細講。
11. Content-Type (POST數據類型)
Content-Type：POST請求裏用來表示的內容類型。
舉例：Content-Type = Text/XML; charset=gb2312：
指明該請求的消息體中包含的是純文本的XML類型的數據，字符編碼采用“gb2312”。
Cookie 和 Session：
服務器和客戶端的交互僅限於請求/響應過程，結束之後便斷開，在下一次請求時，服務器會認為新的客戶端。
為了維護他們之間的鏈接，讓服務器知道這是前一個用戶發送的請求，必須在一個地方保存客戶端的信息。
Cookie：通過在 客戶端 記錄的信息確定用戶的身份。
Session：通過在 服務器端 記錄的信息確定用戶的身份。
python 爬蟲基礎知識(繼續補充)