這是一個適用於小白的Python爬蟲免費教學課程，只有7節，讓零基礎的你初步瞭解爬蟲，跟著課程內容能自己爬取資源。看著文章，開啟電腦動手實踐，平均45分鐘就能學完一節，如果你願意，今天內你就可以邁入爬蟲的大門啦~

好啦，正式開始我們的第二節課《爬取豆瓣電影資訊》吧！啦啦哩啦啦，都看黑板~

1. 爬蟲原理

1.1 爬蟲基本原理

聽了那麼多的爬蟲，到底什麼是爬蟲？爬蟲又是如何工作的呢？我們先從“爬蟲原理”說起。

爬蟲又稱為網頁蜘蛛，是一種程式或指令碼。但重點在於：它能夠按照一定的規則，自動獲取網頁資訊。爬蟲的通用框架如下：

1.挑選種子URL；
2.將這些URL放入待抓取的URL佇列；
3.取出待抓取的URL，下載並存儲進已下載網頁庫中。此外，將這些URL放入待抓取URL佇列，進入下一迴圈；
4.分析已抓取佇列中的URL，並且將URL放入待抓取URL佇列，從而進入下一迴圈。

咳咳~
還是用一個具體的例子，來說明吧！

1.2 一個爬蟲例子

爬蟲獲取網頁資訊和人工獲取資訊，其實原理是一致的，比如我們要獲取電影的“評分”資訊：

人工操作步驟：
1. 獲取電影資訊的頁面
2. 定位（找到）到評分資訊的位置
3. 複製、儲存我們想要的評分資料

爬蟲操作步驟：
1. 請求並下載電影頁面資訊
2. 解析並定位評分資訊
3. 儲存評分資料

感覺是不是很像？

1.3 爬蟲的基本流程

簡單來說，我們向伺服器傳送請求後，會得到返回的頁面，通過解析頁面之後，我們可以抽取我們想要的那部分資訊，並存儲在指定的文件或資料庫中。這樣，我們想要的資訊就被我們“爬”下來啦~

2. Requests+Xpath 爬取豆瓣電影

Python 中爬蟲相關的包很多：Urllib、requsts、bs4……我們從 requests+xpath 講起，因為太容易上手了！學習之後你就會發現，BeautifulSoup 還是稍微有點難的。

下面我們用 requests+xpath 爬取豆瓣電影：

2.1 安裝 Python 應用包：requests、lxml

如果是首次使用Requests+Xpath，首先需要安裝兩個包：requests和lxml，在終端分別輸入以下兩行程式碼即可（安裝方法在第1節中已講過）：

pip install requests
 

pip install lxml

2.2 匯入我們需要的 Python 模組

我們在jupyter中編寫程式碼，首先匯入我們需要的兩個模組：

import requests
from lxml import etree

Python中匯入庫直接用”import+庫名“，需要用庫裡的某種方法用”from+庫名+import+方法名“。這裡我們需要requests來下載網頁，用lxml.etree來解析網頁。

2.3 獲取豆瓣電影目標網頁並解析

給定 url 並用 requests.get() 方法來獲取頁面的text，用 etree.HTML() 來解析下載的頁面資料“data”。

url = 'https://movie.douban.com/subject/1292052/'
data = requests.get(url).text
s=etree.HTML(data)

2.4 獲取電影名稱

獲取元素的Xpath資訊並獲得文字：

file=s.xpath('元素的Xpath資訊/text()')

這裡的“元素的Xpath資訊”是需要我們手動獲取的，獲取方式為：定位目標元素，在網站上依次點選：右鍵 > 檢查

快捷鍵“shift+ctrl+c”，移動滑鼠到對應的元素時即可看到對應網頁程式碼：

在電影標題對應的程式碼上依次點選 右鍵 > Copy > Copy XPath，獲取電影名稱的Xpath：

這樣我們就把元素中的Xpath資訊複製下來了：

//*[@id="content"]/h1/span[1]

放到程式碼中並列印資訊：

film=s.xpath('//*[@id="content"]/h1/span[1]/text()')
print(film)

2.5 程式碼以及執行結果

以上完整程式碼如下：

import requests
from lxml import etree

url = 'https://movie.douban.com/subject/1292052/'
data = requests.get(url).text
s=etree.HTML(data)

film=s.xpath('//*[@id="content"]/h1/span[1]/text()')
print(film)

在 Jupyter 中執行完整程式碼及結果如下：

至此，我們完成了爬取豆瓣電影《肖申克的救贖》中“電影名稱”資訊的程式碼編寫，可以在 Jupyter 中執行。

2.6 獲取其它元素資訊

除了電影的名字，我們還可以獲取導演、主演、電影片長等資訊，獲取的方式是類似的。程式碼如下：

director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')    #導演
actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()')  #主演1
actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()')  #主演2
actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()')  #主演3
time=s.xpath(‘//*[@id="info"]/span[13]/text()')   #電影片長

觀察上面的程式碼，發現獲取不同“主演”資訊時，區別只在於“a[x]”中“x”的數字大小不同。實際上，要一次性獲取所有“主演”的資訊時，用不加數字的“a”表示即可。程式碼如下：

actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')  #主演

完整程式碼如下：

import requests
from lxml import etree

url = 'https://movie.douban.com/subject/1292052/'
data = requests.get(url).text
s=etree.HTML(data)

film=s.xpath('//*[@id="content"]/h1/span[1]/text()')
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')
time=s.xpath('//*[@id="info"]/span[13]/text()')

print('電影名稱：',film)
print('導演：',director)
print('主演：',actor)
print('片長：',time)

在jupyter中執行完整程式碼及結果如下：

3. 關於Requests

Requests庫官方的介紹有這麼一句話：Requests 唯一的一個非轉基因的 Python HTTP 庫，人類可以安全享用。

這句話直接並霸氣地宣示了 Requests 庫是 python 最好的一個HTTP庫。為什麼它有這樣的底氣？如有興趣請閱讀 Requests 官方文件 。

Requests 常用的七種方法：

4. 關於解析神器 Xpath

Xpath 即為 XML 路徑語言（XML Path Language），它是一種用來確定 XML 文件中某部分位置的語言。

Xpath 基於 XML 的樹狀結構，提供在資料結構樹中找尋節點的能力。起初 Xpath 的提出的初衷是將其作為一個通用的、介於 Xpointer 與 XSL 間的語法模型。但是Xpath 很快的被開發者採用來當作小型查詢語言。

可以閱讀該文件瞭解更多關於 Xpath 的知識。

Xpath解析網頁的流程：
1.首先通過Requests庫獲取網頁資料
2.通過網頁解析，得到想要的資料或者新的連結
3.網頁解析可以通過 Xpath 或者其它解析工具進行，Xpath 在是一個非常好用的網頁解析工具

常見的網頁解析方法比較

• 正則表示式使用比較困難，學習成本較高
• BeautifulSoup 效能較慢，相對於 Xpath 較難，在某些特定場景下有用
• Xpath 使用簡單，速度快（Xpath是lxml裡面的一種），是入門最好的選擇

好了，這節課就到這裡！

白白~

如果你想有專業老師授課、有系統性知識、有實時線上答疑的老師的話，可以加入我們的課程《Python爬蟲(入門+進階)》。