概述：

這是一個利用pycharm在phthon環境下做的一個簡單爬蟲分享，主要通過對豆瓣音樂top250的歌名、作者（專輯）的爬取來分析爬蟲原理

什麼是爬蟲？

我們要學會爬蟲，首先要知道什麼是爬蟲。

中文名

網路爬蟲

外文名

web crawler

別    稱

網路蜘蛛

目    的

按要求獲取全球資訊網資訊

網路爬蟲是一個自動提取網頁的程式，它為搜尋引擎從全球資訊網上下載網頁，是搜尋引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入佇列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為複雜，需要根據一定的網頁分析演算法過濾與主題無關的連結，保留有用的連結並將其放入等待抓取的URL佇列。然後，它將根據一定的搜尋策略從佇列中選擇下一步要抓取的網頁URL，並重覆上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。

準備工作：

使用工具：requests ， lxml  ，xpath

話不多說，開始我們的爬蟲之旅

可以看到我們要獲取的歌名、作者（專輯）在頁面中有十頁，每頁十行

於是我們可以利用for迴圈來獲取目標：

然後用requests請求網頁：

import requests

headers = {"User_Agent": "Mozilla/5.0(compatible; MSIE 5.5; Windows 10)"}

data = requests.get(url, headers=headers).text

再用lxml解析網頁：

from lxml import etree

s = etree.HTML(data)

接下來就可以提取我們想要的資料了

最後把獲取到的資料儲存到我們想要放的地方就可以了

到了這裡，我們基本上完成了，完整程式碼如下：

然後來看看我們爬取的成果

總結：

爬蟲流程：

1、發起請求

使用http庫向目標站點發起請求，即傳送一個Request

Request包含：請求頭、請求體等 

Request模組缺陷：不能執行JS 和CSS 程式碼

2、獲取響應內容

如果伺服器能正常響應，則會得到一個Response

Response包含：html，json，圖片，視訊等

3、解析內容

解析html資料：正則表示式（RE模組），第三方解析庫如lxml，bs4等

解析json資料：json模組

解析二進位制資料:以wb的方式寫入檔案

4、儲存資料

資料庫（MySQL，Mongdb、Redis）

檔案