（一）使用工具

這裡使用了火狐瀏覽器的user-agent外掛，不懂的可以點這裡火狐外掛使用

（二）爬蟲操作步驟：

百度 網易新聞並選擇

步驟一：

步驟二：

步驟三：

步驟四：

最後一步：

注意點：

（1）網易新聞型別，一共是下面的幾種：

{"BBM54PGAwangning","BCR1UC1Qwangning","BD29LPUBwangning","BD29MJTVwangning","C275ML7Gwangning"}

（2）新聞翻頁動作：
從0-10 ——> 10-10
步數為10,0起步

我們試著從0頁開始獲取一下（瀏覽器輸入一下）：

很好的json，有沒有。下面開始coding，不多說，直接看程式碼。

（三） 程式碼編寫部分：

使用環境：win10 python3 scrapy

這裡給出了spider檔案部分

# -*- coding: utf-8 -*-
# @Time    : 2018/5/23 13:56
# @Author  : 蛇崽
# @Email   : [email protected]
# @File    : wangyi3g.py
import json

import re
import scrapy
from bs4 import BeautifulSoup


class
 
 Wangyi3GSpider(scrapy.Spider):

    name = 'wangyi3g'
    allowed_domains = ['3g.163.com']
    start_urls = ['http://3g.163.com/touch/news/']

    baseurl = 'http://3g.163.com/touch/reconstruct/article/list/BD29LPUBwangning/{}-10.html'
    def parse(self, response):
        # 10 20
        for page in range(0,80,10):
            jsonurl = self.baseurl.format(page)
            yield
 
 scrapy.Request(jsonurl,callback=self.parse_li_json)

    def parse_li_json(self,response):
        res = response.body.decode('utf-8')
        print(res)
        res = str(res).replace('artiList(','')
        res = res.replace(')','')
        j = json.loads(res)
        datas = j['BD29LPUBwangning']
        print(datas)

        for data in datas:
            title = data['title']
            ptime = data['ptime']
            url = data['url']
            source = data['source']
            print(title,ptime,url,source)
            if url:
                yield scrapy.Request(url,callback=self.parse_detail)

    def parse_detail(self,response):
        soup = BeautifulSoup(response.body,'lxml')
        content = soup.find('div','content')
        image_urls = re.findall(r'data-src="(.*?)"', str(content))
        # print(image_urls)

以上就是網易新聞APP爬蟲程式碼的實現，更多技術學習交流可檢視主頁加群。我們一起學習。

更多部落格文章請訪問: