俗話說“巧婦難為無米之炊”，除了傳統的資料來源，如歷史年鑑，實驗資料等，很難有更為簡便快捷的方式獲得資料，在目前網際網路的飛速發展寫，大量的資料可以通過網頁直接採集，“網路爬蟲”應運而生，本篇將會講解簡單的網路爬蟲編寫方法。

開發環境

每個人的開發環境各異，下面上是我的開發環境，對於必須的工具，我會加粗。

windows10(作業系統)，pycharm(IDE，當然，用eclipse和sublime均可)，python(這個必須的額，我下面實現的程式碼版本是2.7)，BeautifulSoup4、urllib2等。

什麼是爬蟲

爬蟲是自動從網際網路上獲取資料的程式

下面是一張對簡單爬蟲的結構進行描述的圖，其主體是URL管理器，網頁下載器和網頁解析器。爬蟲排程端指的是對爬蟲釋出指令的埠，人可以對其進行設定，爬什麼內容，怎麼爬，需要進行什麼其他的操作等，通過爬蟲，就能夠得到所需的有價值的資料。

下面一張時序圖圖簡單講述了爬蟲的執行流程。從上往下看，排程器訪問URL管理器檢視其中由於可訪問的待爬取的URL，如果返回是即將1個待爬的URL傳給調取器，排程器讓下載器將URL對應的網頁下載下來，返回給排程器，排程器將下載的網頁發給解析器進行解析，解析之後返回到排程器，此時資料已經初步形成，可以開始進一步的使用。如此迴圈直到URL管理器為空或者資料量足夠大。

URL管理器

URL管理器：管理待抓取的URL集合和已抓取URL集合。主要實現下面種功能。

新增新URL到待爬集合中。

判斷待新增URL是否在容器中。

獲取待爬取URL。

判斷是否還有待爬取URL。

將待爬取URL移動到已爬取。

實現方式：

記憶體：python的set集合

關係資料庫，MySQL,urls(url, is_crawled)

快取資料庫：redis的set集合

網頁下載器

網頁下載器：將網際網路上URL對應網頁下載到本地的工具。

我剛整理了一套2018最新的0基礎入門和進階教程，無私分享，加Python學習q u n ：227-435-450即可獲取，內附：開發工具和安裝包，以及系統學習路線圖python的

網頁下載器

urllib2-python-官方基礎模組

requests-第三方更強大

urllab2下載器使用方法：

最簡捷方法：直接寫出連結並且請求。

新增data、http helper，data和httphelper能分別為下載提供更加精確的目標，同時可以模仿瀏覽器對網頁進行訪問，能攻破一些反爬蟲策略。

新增特殊情景處理器，例如賬號密碼輸入等，有些網站只有在使用者登入時才能瀏覽，而情景處理器就能模擬這形式。

執行例項：

網頁解析器

網頁解析器：從網頁中提取有價值資料的工具，側面而言，也能看做是整合資料的一個步驟，但是由於爬取資料複雜度較高，所以不會將太多的資料整合、整合、清洗任務放在這裡，只是進行簡單的整合，成為陣列或者矩陣等而已。

Beautiful Soup

python第三方庫，用於從HTML或者XML中提取資料，有自己的官網，同時還有API文件。

其下載方式可在API文件中找到。

用法介紹如下圖所示。BeautifulSoup物件建立之後能夠去搜索節點，根據節點名、屬性值或者是節點文字等資訊進行查詢，能夠達到精確搜尋的目的，減少垃圾資料獲取。

舉一個例子，對一個標籤：

能有三種方式搜尋

節點名稱：a

節點屬性："href='123.html'，和class=article_link"

節點內容：python

語法使用如下：

下面是具體的案例：