在spiders資料夾中建立一個python檔案，比如miao.py，來作為爬蟲的指令碼。

程式碼如下：

解析

1.試試神奇的xpath

2.看看xpath的效果

在最上面加上引用：

from scrapy import Selector

把parse函式改成：

我們再次執行一下，你就可以看到輸出“壇星際區”第一頁所有帖子的標題和url了。

遞迴

完整的程式碼如下：

Pipelines——管道

現在是對已抓取、解析後的內容的處理，我們可以通過管道寫入本地檔案、資料庫。

3.在爬蟲中呼叫這個處理方法。

4.在配置檔案裡指定這個pipeline

可以這樣配置多個pipeline:

Middleware——中介軟體

1.Middleware的配置

2.破網站查UA, 我要換UA

這裡就是一個簡單的隨機更換UA的中介軟體，agents的內容可以自行擴充。

3.破網站封IP，我要用代理

3.在爬蟲中呼叫這個處理方法。

4.在配置檔案裡指定這個pipeline

可以這樣配置多個pipeline:

Middleware——中介軟體

1.Middleware的配置

2.破網站查UA, 我要換UA

這裡就是一個簡單的隨機更換UA的中介軟體，agents的內容可以自行擴充。

3.破網站封IP，我要用代理

3.在爬蟲中呼叫這個處理方法。

4.在配置檔案裡指定這個pipeline

可以這樣配置多個pipeline:

Middleware——中介軟體

1.Middleware的配置

2.破網站查UA, 我要換UA

這裡就是一個簡單的隨機更換UA的中介軟體，agents的內容可以自行擴充。

3.破網站封IP，我要用代理

進群：125240963   即可獲取原始碼！