2. 程式人生 > >Scrapy實戰篇（八）之簡書使用者資訊全站抓取

Scrapy實戰篇（八）之簡書使用者資訊全站抓取

阿新 • • 發佈：2019-02-08

相對於知乎而言，簡書的使用者資訊並沒有那麼詳細，知乎提供了包括學習，工作等在內的一系列使用者資訊介面，但是簡書就沒有那麼慷慨了。但是即便如此，我們也試圖抓取一些基本資訊，進行簡單地細分析，至少可以看一下，哪些人哪一類文章最受使用者歡迎，也可以給其他人一些參考不是。

我們整體的思路是這樣的：
從某一個大V開始，抓取它的相關資訊，並且提取出它的全部的關注者url，對於每一個url進行請求，提取關注者的個人資訊和他的關注者url，再次請求，如此進行下去，無窮無盡。

在網頁分析的時候，發現關注者的資訊是Ajax加載出來，開啟關注者列表，滑鼠下滑，會一直載入新的關注者，直到加載出全部，本來以為這會有一點麻煩，但是在url後面加一個page引數，會發現一切都解決了，預設情況下，每一頁的使用者資訊是九條，但是怎麼獲得頁碼呢，很簡單，只要獲取總的關注者然後除以9就解決了，針對每一頁進行請求，就可以拿到全部的關注者了。

因此事情就變得非常的簡單，直接上程式碼吧。

items.py

from scrapy import Item, Field


class JianshuItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    id = Field()
    name = Field()
    followings = Field()
    followers = Field()
    words = Field()
    likes = Field()
    articles = Field
 
()

spider.py

from scrapy import Spider, Request
from jianshu.items import JianshuItem
from lxml import etree
import re

class JianshuSpider(Spider):

    name = 'jianshu'
    init_following_url = 'http://www.jianshu.com/users/3aa040bf0610/following'

    def start_requests(self):
        yield Request(url = self.init_following_url, callback = self.parse_following)

    def
 
 parse_following(self, response):
        '''
        作用：
        1.提取使用者資料
        2.提取關注者的頁碼數
        '''
        selector = etree.HTML(response.text)
        # 下面是解析使用者資訊，使用者資訊全部在第一頁進行解析
        item = JianshuItem()
        id = selector.xpath('//div[@class="main-top"]/div[@class="title"]/a/@href')[0]
        item['id'] = re.search('/u/(.*)', id).group(1)
        item['name'] = selector.xpath('//div[@class="main-top"]/div[@class="title"]/a/text()')[0]
        item['followings'] = selector.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li[1]//p/text()')[0]
        item['followers'] = selector.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li[2]//p/text()')[0]
        item['articles'] = selector.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li[3]//p/text()')[0]
        item['words'] = selector.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li[4]//p/text()')[0]
        item['likes'] = selector.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li[5]//p/text()')[0]
        yield item

        # 下面是獲取關注者頁碼數，每一頁進行請求
        page_all = selector.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li[1]//p/text()')[0]
        page_all = int(page_all)
        if page_all % 9 == 0:
            page_num = int(page_all / 9)
        else:
            page_num = int(page_all / 9) + 1
        for i in range(1, page_num):
            url = response.url + '?page={}'.format(str(i+1))
            yield Request(url=url, callback=self.parse_info)

    def parse_info(self, response):
        '''
        對頁面資訊進行解析，同時跟進連結
        :param response:
        :return:
        '''
        # 獲取它的關注者列表，再次發起請求
        selector = etree.HTML(response.text)
        id_list = selector.xpath('//div[@class="info"]/a/@href')
        for id in id_list:
            id = re.search('/u/(.*)', id).group(1)
            url = 'http://www.jianshu.com/users/{}/following'.format(id)
            yield Request(url=url, callback=self.parse_following)

middlewares.py

from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
import random


class MyUserAgentMiddleware(UserAgentMiddleware):
    def __init__(self, user_agent):
        self.user_agent = user_agent

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            user_agent = crawler.settings.get('USER_AGENT')
        )

    def process_request(self, request, spider):
        random_useragent = random.choice(self.user_agent)
        request.headers.setdefault("User-Agent", random_useragent)

pipelines.py

import pymongo

class JianshuPipeline(object):
    collection_name = 'user'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri = crawler.settings.get('MONGO_URI'),
            mongo_db = crawler.settings.get('MONGO_DB')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spiser(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].update({'id': item['id']}, dict(item), True) 
        # id相同，只更新，不插入，去重作用。
        return 'ok!'

settings.py

# -*- coding: utf-8 -*-

# Scrapy settings for jianshu project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     http://doc.scrapy.org/en/latest/topics/settings.html
#     http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html
#     http://scrapy.readthedocs.org/en/latest/topics/spider-middleware.html

BOT_NAME = 'jianshu'

SPIDER_MODULES = ['jianshu.spiders']
NEWSPIDER_MODULE = 'jianshu.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'jianshu (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See http://scrapy.readthedocs.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 0.25
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
TELNETCONSOLE_ENABLED = False

# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',

}

USER_AGENTS = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36",
]


MONGO_URI = 'mongodb://localhost:27017'
MONGO_DB = 'jianshu'



DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddleware.useragent.UserAgentMiddleware': None,
    'zhihuuser.middlewares.MyUserAgentMiddleware': 400,
}

ITEM_PIPELINES = {
   'jianshu.pipelines.JianshuPipeline': 300,
}

下面直接執行就好了。

你也可以直接在github下載以上程式碼執行。

相關推薦

Scrapy實戰篇（八）之簡書使用者資訊全站抓取

相對於知乎而言，簡書的使用者資訊並沒有那麼詳細，知乎提供了包括學習，工作等在內的一系列使用者資訊介面，但是簡書就沒有那麼慷慨了。但是即便如此，我們也試圖抓取一些基本資訊，進行簡單地細分析，至少可以看一下，哪些人哪一類文章最受使用者歡迎，也可以給其他人一些參考不是。我們整體的思

Scrapy實戰篇（三）之爬取豆瓣電影短評

地址 pad __init__ {} 爬取 opera -m range pytho 今天的主要內容是爬取豆瓣電影短評，看一下網友是怎麽評價最近的電影的，方便我們以後的分析，以以下三部電影：二十二，戰狼，三生三世十裏桃花為例。 由於豆瓣短評網頁比較簡單，且不存在動態加載的內

Scrapy實戰篇（二）之爬取鏈家網成交房源數據（下）

html win64 4.0 https set 爬蟲 使用 創建 鼓樓區 在上一小節中，我們已經提取到了房源的具體信息，這一節中，我們主要是對提取到的數據進行後續的處理，以及進行相關的設置。 數據處理 我們這裏以把數據存儲到mongo數據庫為例。編寫pipelines.p

Scrapy實戰篇（一）之爬取鏈家網成交房源數據（上）

meta pat 分割 自定義 是不是 rom 創建 開始 mat 今天，我們就以鏈家網南京地區為例，來學習爬取鏈家網的成交房源數據。 這裏推薦使用火狐瀏覽器，並且安裝firebug和firepath兩款插件，你會發現，這兩款插件會給我們後續的數據提取帶來很大的方便。 首先

Scrapy實戰篇（九）之爬取鏈家網天津租房數據

房子 爬取 思路 頁面 scrapy more 關心 分析 網上 　　以後有可能會在天津租房子，所以想將鏈家網上面天津的租房數據抓下來，以供分析使用。 　　思路： 　　1、以初始鏈接https://tj.lianjia.com/zufang/rt200600000001

Java多執行緒知識點總結——進階篇（八） 之 等待喚醒機制 Lock 鎖升級版

JDK1.5 中提供了多執行緒升級解決方案。 將同步 Synchronized 替換成現實 Lock 操作。 將Object中的 wait、notify、notifyAll，替換成了C

C++精進篇（八）之―函式重定義、過載、重寫、重入

　C++函式重定義、過載、重寫、重入 1. 重寫 (override):        父類與子類之間的多型性。子類重新定義父類中有相同名稱和引數的虛擬函式。        函式重寫的特點： （1）不同的範圍，分別位於基類和派生類中 （2）重寫函式必須有相同的型別，名稱和

一站式學習Wireshark（八）：應用Wireshark過濾條件抓取特定資料流

應用抓包過濾，選擇Capture | Options，擴充套件視窗檢視到Capture Filter欄。雙擊選定的介面，如下圖所示，彈出Edit Interface Settints視窗。 下圖顯示了Edit Interface Settings視窗，這裡可以設定

構建NetCore應用框架之實戰篇（一）：什麽是框架，如何設計一個框架

net 希望 dmi 清晰 構建 組織 評估 系統開發 概念 一、系列簡述 本篇起，將通過一系列文章，去描述如何構建一個應用開發框架，並以作者開發的框架為例，逐個點展開分析，如何從零開始，構建自己的開發框架。 本系列文章的目的，是帶領有一編程經驗的人，通過動手，初步完成

構建NetCore應用框架之實戰篇（四）：BitAdminCore框架1.0登錄功能細化及技術選型

1.0 dmi 也會 繼承 blank bit 技術選型 cor 我會 本篇承接上篇內容，如果你不小心點擊進來，建議從第一篇開始完整閱讀，文章內容繼承性連貫性。 構建NetCore應用框架之實戰篇系列 一、BitAdminCore框架1.0版本 1、1.0版本是指

20180813視頻筆記 深度學習基礎上篇（1）之必備基礎知識點 深度學習基礎上篇（2）神經網絡模型視頻筆記：深度學習基礎上篇（3）神經網絡案例實戰 和 深度學習基礎下篇

計算 概念 人臉識別 大量 png 技巧 表現 lex github 深度學習基礎上篇（3）神經網絡案例實戰 https://www.bilibili.com/video/av27935126/?p=1 第一課:開發環境的配置 Anaconda的安裝 庫的安裝 Windo

Sping Boot入門到實戰之實戰篇（二）：一些常用功能的Spring Boot Starters

包含功能 阿里雲訊息服務MNS 阿里雲訊息佇列服務（即時訊息、延遲訊息、事務訊息） AOP日誌 基於MyBatis通用Mapper及DRUID的資料庫訪問 dubbo支援 錯誤處理 七牛圖片服務 redis多連線池支援 swagger配置 跨域配置 原始碼地址：https://github.com/ron

【實戰】Unity3d實戰之Unity3d網路遊戲實戰篇（6）：服務端框架的搭建

Unity3d實戰之Unity3d網路遊戲實戰篇（6）：服務端框架的搭建 學習書籍《Unity3d網路遊戲實戰》 羅培羽著 機械工業出版社 本文是作者在學習過程中遇到的認為值得記錄的點，

小白學 Python 爬蟲（41）：爬蟲框架 Scrapy 入門基礎（八）對接 Splash 實戰

人生苦短，我用 Python 前文傳送門： 小白學 Python 爬蟲（1）：開篇 小白學 Python 爬蟲（2）：前置準備（一）基本類庫的安裝 小白學 Python 爬蟲（3）：前置準備（二）Linux基礎入門 小白學 Python 爬蟲（4）：前置準備（三）Docker基礎入門 小白學 Pyth

Python（八）之函數

列表 應該 聚合 作用 接收 求階乘 問題 mage 函數式編程 Python函數 函數作用： （1）代碼重用 （2）一種設計工具，分解復雜問題 （3）將相關功能打包並參數化 函數種類： 全局函數：定義在模塊中 局部函數：嵌套在其他函數中 lambda函數：表達

python爬蟲從入門到放棄（八）之 Selenium庫的使用

自動 .com 程序 png 都是 例子 等待 點擊 哪些 一、什麽是Selenium selenium 是一套完整的web應用程序測試系統，包含了測試的錄制（selenium IDE）,編寫及運行（Selenium Remote Control）和測試的並行處理（Sele

JavaSE（八）之集合練習一

can lec set 打印 定義 hello blog 要求 sys 前面把Collection家族給學習完畢了，接下來我們通過幾個練習來鞏固前面的知識。 一、產生10個1-20之間的隨機數要求隨機數不能重復 import java.util.HashSe

Spring Boot實戰筆記（八）-- Spring高級話題（條件註解@Conditional）

cat property sts 配置 fig 構造 註解 方法 code 一、條件註解@Conditional 　　在之前的學習中，通過活動的profile，我們可以獲得不同的Bean。Spring4提供了一個更通用的基於條件的Bean的創建，即使用@Conditiona

Pyhton函數篇（一）之函數中的形參與實參

依然 tell 多個 存在 默認 urn 字符串 div 地址 1：什麽是函數 　　函數其實就是帶名字的代碼塊，用於完成一些具體的工作。如果我們在寫一段程序的時候，需要多次用到同樣的一個功能，如果每次都要重復寫相同的代碼，不僅會增加我們的代碼量，更會讓我們寫出的代碼讓別人看

Python函數篇（4）之叠代器與生成器

依賴 true windows 想要 bject 多個 介紹 中文 linux系統中 1.文件操作的“b模式”(補充) 　　在上一篇文章中，我在最後一部分寫了文件處理的一些方法，但是覺得還是有必要再提一下如下的內容： 　　像rb、wb、ab這種模式，是以字節的形式操作，需要