今天咱們就來花幾分鐘瞭解一下Python爬蟲好玩的地方吧！差點忘了。在給大家分享之前呢，小編推薦一下一個挺不錯的交流寶地，裡面都是一群熱愛並在學習Python的小夥伴們，大幾千了吧，各種各樣的人群都有，特別喜歡看到這種大家一起交流解決難題的氛圍，群資料也上傳了好多，各種大牛解決小白的問題，這個Python群：330637182 歡迎大家進來一起交流討論，一起進步，儘早掌握這門Python語言。

任何指定的程式都有能力同時做為客戶端和伺服器。我們在使用這個概念時，不是看程式功能上是否能實現客戶及伺服器，而是看程式在特定連線時段上扮演何種角色（客戶或伺服器）。同樣，任何伺服器可以扮演原始伺服器、代理、閘道器、隧道等角色，行為的切換取決於每次請求的內容。

簡單流程

HTTP協議是基於請求/迴應機制的。客戶端與伺服器端建立連線後，以請求方法、URI、協議版本等方式向伺服器端發出請求，該請求可跟隨包含請求修飾符、客戶資訊、及可能的請求體（body）內容的MIME型別訊息。伺服器端通過狀態佇列（status line）來回應，內容包括訊息的協議版本、成功或錯誤程式碼，也跟隨著包含伺服器資訊、實體元資訊及實體內容的MIME型別訊息。

HTTP 訊息（HTTP Message）

HTTP訊息由客戶端到伺服器的請求和由伺服器到客戶端的迴應組成。

程式碼實現的流程

爬蟲是一個綜合性的工具

在實現爬蟲的過程中，為了實現我們的目的，我們藉助了各種各樣的工具。瀏覽器的開發者工具，正則表示式，以及python的各種功能庫。可謂是無所不用其極。但是，對於這些工具，我們實際上用到的功能，目前來看，其實並不多，核心程式碼就是那點而已，所以說，抽離出彙總起來，日後重新使用，一旦對於這個工具不再熟悉，回過頭來看這些小小的片段，總是會省下很多的時間。

所以，這篇文章的核心內容就要來了。

偽裝瀏覽器

新增頭資訊。可以在瀏覽器的開發者工具中的網路選項卡中點選對應的html頁面檢視請求報文和相應報文資訊。一般的，只需新增使用者代理資訊即可。

時間問題

超時重連

有時候網頁請求太過頻繁，會出現長時間沒有響應的狀態，這時候一般需要設定超時重連。下面是一個例子片段

頁面解析

檔案讀寫

Cookies 是某些網站為了辨別使用者身份、進行 session 跟蹤而儲存在使用者本地終端上的資料(通常經過加密)。

代理

有一種反爬蟲策略就是對IP進行封鎖。所以我們有時需要設定代理。

原理：代理伺服器原理如下圖，利用代理伺服器可以很好處理IP限制問題。

一般都是利用網際網路上提供的一些免費代理IP進行爬取，而這些免費IP的質量殘次不齊，出錯是在所難免的，所以在使用之前我們要對其進行有效性測試。

後續

後面我會在考慮學習多執行緒異或多程序改寫之前的爬蟲，研究研究前面引用的文章裡的提到的一些我之前還未了解的技術，感覺要學的東西還是很多，快要開學了，自己的效率有點低，也不知道還能有多少時間給自己這樣浪。

謝謝閱讀，本文轉載！原文連結