2. 程式人生 > >Scrapy網路爬蟲系列教程（二）| 提取網頁上的內容

Scrapy網路爬蟲系列教程（二）| 提取網頁上的內容

阿新 • • 發佈：2019-02-15

今天我們新建第一個爬蟲程式，爬取[伯樂線上]網站上一個網頁的內容。

建立專案

[按照上一篇文章所講的，你已經建好一個虛擬環境並安裝好了 scrapy]
首先，開啟控制檯，進入虛擬環境，輸入 scrapy startproject jobbole 新建一個名字為 jobbole 的專案。
輸入 tree/F jobbole 檢視檔案下的目錄結構。

│  scrapy.cfg
│
└─jobbole
    │  items.py
    │  middlewares.py
    │  pipelines.py
    │  settings.py
    │  __init__.py
 

    │
    ├─spiders
    │  │  __init__.py
    │  │
    │  └─__pycache__
    └─__pycache__

用 PyCharm 開啟該資料夾，並在 spider 資料夾下新建一個 Python File 檔案，取名為 jobbole_spider。

在編寫程式之前，我們先分析一下所要抓取的網頁，登入伯樂線上網站，隨便開啟一篇文章：http://python.jobbole.com/89004/
我們要提取這個網頁的標題，釋出時間，標籤，評論數，點贊數等等。

提取資料

學習如何使用 Scrapy 提取資料的最好方法是嘗試使用 Scrapy shell

的選擇器。
在控制檯輸入 scrapy shell "http://python.jobbole.com/89004/"
會看到：

2018-02-11 14:10:26 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://python.jobbole.com/89004/> (referer: None)
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x0000016D64CD9A90
 
>
[s]   item       {}
[s]   request    <GET http://python.jobbole.com/89004/>
[s]   response   <200 http://python.jobbole.com/89004/>
[s]   settings   <scrapy.settings.Settings object at 0x0000016D64CD9B70>
[s]   spider     <DefaultSpider 'default' at 0x16d64f822b0>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
>>>

下面用響應物件使用 CSS 選擇元素：
提取標題，輸入：response.css(".type-post h1::text").extract_first()

>>> response.css(".type-post h1::text").extract_first()
'15 分鐘用 ML 破解一個驗證碼系統'

提取建立時間，輸入：response.css(".entry-meta-hide-on-mobile::text").extract_first().strip()[:-2]

>>> response.css(".entry-meta-hide-on-mobile::text").extract_first()
'\r\n\r\n            2018/01/29 ·  '
>>> response.css(".entry-meta-hide-on-mobile::text").extract_first().strip()
'2018/01/29 ·'
>>> response.css(".entry-meta-hide-on-mobile::text").extract_first().strip()[:-2]
'2018/01/29'

提取標籤，輸入：response.css(".entry-meta a::text").extract()

>>> response.css(".entry-meta a::text").extract()
['實踐專案', ' 1 評論 ', 'OpenCV', 'tensorflow', '機器學習']

提取點贊數，輸入：response.css(".vote-post-up h10::text").extract_first()

>>> response.css(".vote-post-up h10::text").extract_first()
'5'

提取收藏數，輸入：response.css(".bookmark-btn::text").extract_first()

>>> response.css(".bookmark-btn::text").extract_first()
' 12 收藏'

提取評論數，輸入response.css(".hide-on-480::text").extract()[-1]


>>> response.css(".hide-on-480::text").extract()[-1]
' 1 評論'

這裡需要說明的是，呼叫.extract()返回的是一個列表，而當你想返回列表中的第一個值，可以呼叫extract_first()。

除了使用extract()和extract_first()方法之外，還可以使用re()正則表示式進行提取頁面資訊。比如，對於收藏數和評論數，我們僅僅是想提取數字而已，所以得把上面抓取到的內容進行正則匹配。

        fav_nums = response.css(".bookmark-btn::text").extract_first()
        match_re = re.match(".*?(\d+).*", fav_nums)
        if match_re:
            fav_nums = match_re.group(1)

        comment_nums = response.css(".hide-on-480::text").extract()[-1]
        match_re = re.match(".*?(\d+).*", comment_nums)
        if match_re:
            comment_nums = match_re.group(1)

當我們提取標籤的時，發現其中['實踐專案', ' 1 評論 ', 'OpenCV', 'tensorflow', '機器學習']還有1 評論，這並不是我們希望看到的，所以我們得用正則匹配把無用的資訊剔除掉。

        tag_list = response.css(".entry-meta a::text").extract()
        tag_list = [element for element in tag_list if not element.strip().endswith("評論")]
        tags = ",".join(tag_list)

到此為止，我們的程式程式碼就已經分析完成了。
主要程式碼：

import scrapy
import re

class jobboleSpider(scrapy.Spider):

    name = "jobbole_spider"

    start_urls = ['http://python.jobbole.com/89004/']


    def parse(self, response):
        fav_nums = response.css(".bookmark-btn::text").extract_first()
        match_re = re.match(".*?(\d+).*", fav_nums)
        if match_re:
            fav_nums = match_re.group(1)

        comment_nums = response.css(".hide-on-480::text").extract()[-1]
        match_re = re.match(".*?(\d+).*", comment_nums)
        if match_re:
            comment_nums = match_re.group(1)

        tag_list = response.css(".entry-meta a::text").extract()
        tag_list = [element for element in tag_list if not element.strip().endswith("評論")]
        tags = ",".join(tag_list)

        for quote in response.css(".grid-8"):
            yield{
                'title': quote.css(".type-post h1::text").extract_first(),
                'create_data': quote.css(".entry-meta-hide-on-mobile::text").extract_first().strip()[:-2],
                'tags': tags,
                'praise_nums': quote.css(".vote-post-up h10::text").extract_first(),
                'fav_nums': fav_nums,
                'comment_nums': comment_nums,
            }

另外，要想在PyCharm上執行此程式，還需要新建一個main.py函式

import os
import sys
from scrapy.cmdline import execute

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "jobbole_spider"])

執行main.py函式，得到執行結果。

2018-02-11 15:31:57 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://python.jobbole.com/robots.txt> (referer: None)
2018-02-11 15:31:57 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://python.jobbole.com/89004/> (referer: None)
2018-02-11 15:31:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://python.jobbole.com/89004/>
{'title': '15 分鐘用 ML 破解一個驗證碼系統', 'create_data': '2018/01/29', 'tags': '實踐專案,OpenCV,tensorflow,機器學習', 'praise_nums': '5', 'fav_nums': '13', 'comment_nums': '1'}
2018-02-11 15:31:58 [scrapy.core.engine] INFO: Closing spider (finished)

感興趣的朋友可以自己抓取網頁上的正文內容。
歡迎關注我的個人公眾號。

相關推薦

Scrapy網路爬蟲系列教程（二）| 提取網頁上的內容

今天我們新建第一個爬蟲程式，爬取[伯樂線上]網站上一個網頁的內容。 建立專案 [按照上一篇文章所講的，你已經建好一個虛擬環境並安裝好了 scrapy] 首先，開啟控制檯，進入虛擬環境，輸入 scrapy startproject jobbole

Scrapy網路爬蟲系列教程（一） | Scrapy爬蟲框架的開發環境搭建

本文主要介紹一下Scrapy爬蟲框架的開發環境搭建。主要有： Python的安裝，IDE的選擇，MySQL及Navicat的安裝，開發環境Virtualenv、Virtualenvwrapper的搭建以及Scrapy的安裝。 Pytho

Python入門系列教程（二）

字符 小寫 無符號 bsp div width raw_input abc body 字符串 1.字符串輸出 name = ‘xiaoming‘ print("姓名：%s"%name) 2.字符串輸入 userName = raw_input(‘請輸

JXLS 2.4.0系列教程（二）——循環導出一個鏈表的數據

教程 super 最簡 com arraylist port 至少 ron mod 請務必先看上一篇文章，本文在上一篇文章的代碼基礎上修改而成。 JXLS 2.4.0系列教程（一）——最簡單的模板導出 上一篇文章我們介紹了JXLS和模板導出最簡單的應用，現在我們要更進一

微信程序開發系列教程（二）使用JavaScript給微信用戶發送消息

邏輯 XML web UNC 百度 ava subscribe 程序開發 內容 我之前的文章 微信程序開發系列教程（一）開發環境搭建 介紹了微信開發環境的搭建，這篇文章我們就來一步步開發一些具體的功能。 功能需求：當有微信用戶關註了您的公眾號之後，您用JavaScript發

從零開始寫自己的PHP框架系列教程（二）[App.php]

porting col config exce tro efault fig 默認 clas 從這一個文件開始以後加載的均以類加載，請註意命名空間和所在文件的路徑 APP.php的這個類所在路徑:根目錄\framework\App.php 直接上代碼 namespace

Java NIO系列教程（二） Channel

Java NIO的通道類似流，但又有些不同： 既可以從通道中讀取資料，又可以寫資料到通道。但流的讀寫通常是單向的。 通道可以非同步地讀寫。 通道中的資料總是要先讀到一個Buffer，或者總是要從一個Buffer中寫入。 正如上面所說，從通道讀取資

OAuth 2.0系列教程（二） 綜述

作者：Jakob Jenkov   譯者：林浩    校對：郭蕾 如引言所說的，OAuth 2.0是一個能夠使應用彼此訪問資料的開放授權協議，這裡我們將闡述該協議是怎麼工作的以及規範中提到的概念。該圖說明了整個授權過程： OAuth 2.0怎樣被用來在應用間共享資料的例子 第一步，使用者訪

RabbitMQ訊息佇列系列教程（二）Windows下安裝和部署RabbitMQ

摘要 本篇經驗將和大家介紹Windows下安裝和部署RabbitMQ訊息佇列伺服器，希望對大家的工作和學習有所幫助！ 目錄 一、Erlang語言環境的搭建 RabbitMQ開源訊息佇列服務是使用Erlang語言開發的，因此我們要使用他就必須先進行Erlang語言環境的搭建，其實是非常簡

API 系列教程（二）：結合 Laravel 5.5 和 Vue SPA 基於 jwt-auth 實現 API 認證

上一篇我們簡單演示了 Laravel 5.5 中 RESTful API 的構建、認證和測試，本教程將在上一篇教程的基礎上進行昇華。 我們將結合 Laravel 和 Vue 單頁面應用（SPA），在它們的基礎上引入 jwt-auth 實現 API 認證，由於 Laravel 集成了對 Vue

solr 6.2.0系列教程（二）IK中文分詞器配置及新增擴充套件詞、停止詞、同義詞

前言 2、solr的不同版本，對應不同版本的IK分詞器。由於IK 2012年停止更新了。所以以前的版本不適合新版的solr。 有幸在網上扒到了IK原始碼自己稍微做了調整，用來相容solr6.2.0版本。IK原始碼下載地址 步驟 1、解壓下載的src.rar壓縮包，這是我建

webpack4系列教程（二）：建立專案，打包第一個JS檔案

傳送門： webpack4系列教程（一）：初識webpack   1. 建立專案 1.1 初始化一個專案 首先安裝nodejs，開啟 nodeJs官網 直接下載安裝即可，安裝完畢後開啟命令列工具，進入你的專案資料夾，執行 npm init 進

基於FFmpeg的視訊播放器開發系列教程（二）

        本節課程的目的：讀幀解碼顯示視訊         開始進入ffmepg的開發之旅。音視訊的細節知識不統一講解，我在教程中逐點滲透，容我以雷神的話開篇。       &nb

Hadoop 系列教程（二）：批量操作多臺伺服器

1. 每個虛擬機器設定靜態IP cd /etc/sysconfig/network-scripts/ ifconfig/ip add 檢視網絡卡的硬體名稱和基本資訊 記下這個UUID 網絡卡配置例子 TYPE="Ethernet" BOOTPROTO="static"

搭建 rbac 後臺系列教程（二）—— 安裝 AdminLTE 渲染後臺和 yii2-admin 整合 rbac

一、安裝 AdminLTE 渲染後臺 1、利用 AdminLTE 渲染後臺模板 AdminLTE 是一個完全響應管理模板。基於 Bootstrap3 框架，易定製模板。適合多種螢幕解析度，從小型移動裝置到大型桌上型電腦。內建了多個頁面，包括儀表盤、郵箱、日曆、鎖屏、登入及註冊、404錯誤、500錯誤等頁面。

Android Studio使用技巧系列教程（二）

最終我還是沒能夠遵守承諾。之前我寫的文章應該算是一個新的系列，一年後我們又回來了。 因此我又重新開始了。我每天在Google+上發表的一系列文章我將會分享在這裡，就像Daniel Lew之前所做的。 自從我在G+上寫的新的系列，會從之前所發表的文章複製一

使用Vue構建Ionic混合APP系列教程（二）：導航

這篇教程我們將從Vue裡最基礎的路由/導航開始講起，然後再看看通過Vue構建的Ionic應用如何導航。 在Vue裡引入Ionic的元件（或者任何其他東西）是非常簡單的，就像你在Angular中做的一樣，只需要把他們注入模板裡，不過當我們想在兩個頁面之間導航時稍

資料探勘入門系列教程（二）之分類問題OneR演算法

資料探勘入門系列教程（二）之分類問題OneR演算法 資料探勘入門系列部落格：https://www.cnblogs.com/xiaohuiduan/category/1661541.html 專案地址：GitHub 在上一篇部落格中，我們通過分析親和性來尋找資料集中資料與資料之間的相關關係。這篇部落

GAN網路從入門教程（二）之GAN原理

在一篇部落格[GAN網路從入門教程（一）之GAN網路介紹](https://www.cnblogs.com/xiaohuiduan/p/13237486.html)中，簡單的對GAN網路進行了一些介紹，介紹了其是什麼，然後大概的流程是什麼。 在這篇部落格中，主要是介紹其數學公式，以及其演算法流程。當然數學公

建站教程（二）：Ubuntu上如何配置Nginx+MySQL+PHP7（LNMP）

在Linux上搭建個人網站，最常用的就是Nginx+MySQL+PHP環境，即LNMP。搭建LNMP的一鍵指令碼很多，不過本文介紹如何不用指令碼一步一步自己搭建LNMP環境，這樣以後自己的網站遇到什麼問題也會清楚如何修改。 安裝Nginx Ubutun（本教程是基於U