2. 程式人生 > >使用python爬蟲爬取百度手機助手網站中app的資料

使用python爬蟲爬取百度手機助手網站中app的資料

阿新 • • 發佈：2019-02-16

一、爬取程式流程圖

爬蟲程式流程圖如下：

Created with Raphaël 2.1.0開始分析地址結構獲得app類別頁的url爬取app詳情頁url爬取App詳情頁的資料將爬取資料儲存到json檔案結束

二、具體步驟

1.分析url地址結構

進入百度手機助手網站http://shouji.baidu.com/software/後，可以看到共分為十個類別：社交通訊、系統工具、理財購物等等，可以知道通過這十個類別分別爬取app的資料，應該就可以全部完整的爬取到所有app。
隨意點選一個類別進入後，如點選社交通訊這一大類，看到url是：http://shouji.baidu.com/software/503/

，分析可以知道這十個類別分別是501~510，即url就是shouji.baidu.com/software/再加上501~510中的一個數字。
每個類別頁都有1-8頁不等的app，比如社交通訊類app的第二頁就是http://shouji.baidu.com/software/503/list_2.html，也就是在list_後面加上數字1-8即可。
經過以上的分析，可以將爬取的url分為以下的三部分結構：

self.base_URL = 'http://shouji.baidu.com/software/'
self.category_num = [501, 502, 503, 504, 505, 506, 507, 508, 509
 
, 510]
self.page_num = [1, 2, 3, 4, 5, 6, 7, 8]

其中category_num和page_num分別代表類別數字和分頁編號。

2.獲得所有app類別頁的url

定義陣列categoryPageURL_list進行類別頁拼接後url的儲存：

def getAppCategoryPageURL(self):
        #所有應用類別的URLlist
        categoryPageURL_list = []
        for x in self.category_num:
            for y in self.page_num:
                categoryPageURL_list.append(self.base_URL + str(x) + '/list_'
 
 + str(y) + '.html')
        return categoryPageURL_list

3.爬取所有app詳情頁的url

進行所有app詳情頁url 的爬取，並將其儲存在appDetailPageURL_list陣列中。

#爬取所有應用 詳情 頁的url
def getAppDetailPageURL(self):
    categoryPageURL_list = self.getAppCategoryPageURL()
    appDetailPageURL_list = []
    for url in categoryPageURL_list:
        #構造request請求物件
        request = urllib2.Request(url)
        response = urllib2.urlopen(request)
        content = response.read().decode("unicode-escape")
        #re模組用於對正則表示式的支援,pattern可以理解為一個匹配模式,re.S指"."可以匹配換行"\n"
        pattern = re.compile('<div.*?app-box">.*?<a href="(.*?)".*?>', re.S)
        resultStr = re.findall(pattern, content)
        for result in resultStr:
            #print 'crawling ' + result
            appDetailPageURL = 'http://shouji.baidu.com/' + result
            appDetailPageURL_list.append(appDetailPageURL)
    return appDetailPageURL_list

4.爬取App詳情頁的資料

對App詳情頁的內容進行爬取，得到app的具體資料。

#爬取App詳情頁中的所需內容
def getAppInfo(self, appURL):
   try:
       request = urllib2.Request(appURL)
       response = urllib2.urlopen(request)
   except urllib2.URLError, e:
       print "Get appInfo failed:", e.reason
       return None
   content = response.read().decode("utf-8")
   # 建立儲存結果的dict
   result = {}
   #得到app名字
   pattern = re.compile('<span>(.*?)</span>')
   resultStr = re.search(pattern, content)
   if resultStr:
       result['Name'] = resultStr.group(1)

   # 得到app大小，需要對字串處理
   pattern = re.compile('<span class="size">(.*?)</span>')
   resultStr = re.search(pattern, content)
   if resultStr:
       result['Size'] = (((resultStr.group(1)).split(':'))[1]).strip()

   #版本
   pattern = re.compile('<span class="version">(.*?)</span>')
   resultStr = re.search(pattern, content)
   if resultStr:
       result['Version'] = (((resultStr.group(1)).split(':'))[1]).strip()

   #下載量
   pattern = re.compile('<span class="download-num">(.*?)</span>')
   resultStr = re.search(pattern, content)
   if resultStr:
       result['download-num'] = (((resultStr.group(1)).split(':'))[1]).strip()

   #LOGO URL
   pattern = re.compile('<img src="(.*?)".*?/>')
   resultStr = re.search(pattern, content)
   if resultStr:
       result['app-pic'] = resultStr.group(1)

   #下載地址
   pattern = re.compile('<div.*?area-download">.*?<a target="_blank.*?href="(.*?)".*?>', re.S)
   resultStr = re.search(pattern, content)
   if resultStr:
       result['app-href'] = resultStr.group(1)

   #詳情頁
   result['page-url'] = appURL

   #應用描述
   pattern = re.compile('<p.*?content content_hover">(.*?)<span.*?>.*?</span></p>', re.S)
   resultStr = re.search(pattern, content)
   if resultStr:
       result['description'] = resultStr.group(1)
   else:
       pattern = re.compile('<div class=.*?brief-long">.*?<p.*?content">(.*?)</p>.*?</div>', re.S)
       resultStr = re.search(pattern, content)
       if resultStr:
           result['description'] = resultStr.group(1)

   #應用截圖
   pattern = re.compile('<li><img data-default=.*?src="(.*?)".*?>', re.S)
   resultStr = re.search(pattern, content)
   if resultStr:
       result['screen-shot'] = resultStr.group(1)
   #print result
   return result

5.將爬取資料儲存到json檔案

在此方法中將所有爬取的資料儲存到appData.json檔案中。

#將資料儲存到json
def saveData(self, resultInfo):
     # resultInfo轉換為json資料格式進行儲存
     encodedjson = json.dumps(resultInfo)
     with open('appData.json', 'w') as f:
         f.write(encodedjson)
     print 'Finished.'

我將所有的方法及引數封裝到Spider類中，建立爬蟲的開始入口，整體程式碼如下：

# -*- coding:utf-8 -*-
import urllib2
import re
import json

class AppSipder:
    def __init__(self):
        #URL模式：http://shouji.baidu.com/software/502/list_x.html,分成三個部分
        self.base_URL = 'http://shouji.baidu.com/software/'
        #類別數字
        #self.category_num = [501, 502, 503, 504, 505, 506, 507, 508, 509, 510]
        self.category_num = [501]
        #分頁編號
        #self.page_num = [1, 2, 3, 4, 5, 6, 7, 8]
        self.page_num = [1]



    #獲得所有應用 類別 頁的url
    def getAppCategoryPageURL(self):
        #所有應用類別的URLlist
        categoryPageURL_list = []
        for x in self.category_num:
            for y in self.page_num:
                categoryPageURL_list.append(self.base_URL + str(x) + '/list_' + str(y) + '.html')
        return categoryPageURL_list

    #爬取所有應用 詳情 頁的url
    def getAppDetailPageURL(self):
        categoryPageURL_list = self.getAppCategoryPageURL()
        appDetailPageURL_list = []
        for url in categoryPageURL_list:
            #構造request請求物件
            request = urllib2.Request(url)
            response = urllib2.urlopen(request)
            content = response.read().decode("unicode-escape")
            #re模組用於對正則表示式的支援,pattern可以理解為一個匹配模式,re.S指"."可以匹配換行"\n"
            pattern = re.compile('<div.*?app-box">.*?<a href="(.*?)".*?>', re.S)
            resultStr = re.findall(pattern, content)
            for result in resultStr:
                #print 'crawling ' + result
                appDetailPageURL = 'http://shouji.baidu.com/' + result
                appDetailPageURL_list.append(appDetailPageURL)
        return appDetailPageURL_list

    #爬取App詳情頁中的所需內容
    def getAppInfo(self, appURL):
        try:
            request = urllib2.Request(appURL)
            response = urllib2.urlopen(request)
        except urllib2.URLError, e:
            print "Get appInfo failed:", e.reason
            return None
        content = response.read().decode("utf-8")
        # 建立儲存結果的dict
        result = {}
        #得到app名字
        pattern = re.compile('<span>(.*?)</span>')
        resultStr = re.search(pattern, content)
        if resultStr:
            result['Name'] = resultStr.group(1)

        # 得到app大小，需要對字串處理
        pattern = re.compile('<span class="size">(.*?)</span>')
        resultStr = re.search(pattern, content)
        if resultStr:
            result['Size'] = (((resultStr.group(1)).split(':'))[1]).strip()

        #版本
        pattern = re.compile('<span class="version">(.*?)</span>')
        resultStr = re.search(pattern, content)
        if resultStr:
            result['Version'] = (((resultStr.group(1)).split(':'))[1]).strip()

        #下載量
        pattern = re.compile('<span class="download-num">(.*?)</span>')
        resultStr = re.search(pattern, content)
        if resultStr:
            result['download-num'] = (((resultStr.group(1)).split(':'))[1]).strip()

        #LOGO URL
        pattern = re.compile('<img src="(.*?)".*?/>')
        resultStr = re.search(pattern, content)
        if resultStr:
            result['app-pic'] = resultStr.group(1)

        #下載地址
        pattern = re.compile('<div.*?area-download">.*?<a target="_blank.*?href="(.*?)".*?>', re.S)
        resultStr = re.search(pattern, content)
        if resultStr:
            result['app-href'] = resultStr.group(1)

        #詳情頁
        result['page-url'] = appURL

        #應用描述
        pattern = re.compile('<p.*?content content_hover">(.*?)<span.*?>.*?</span></p>', re.S)
        resultStr = re.search(pattern, content)
        if resultStr:
            result['description'] = resultStr.group(1)
        else:
            pattern = re.compile('<div class=.*?brief-long">.*?<p.*?content">(.*?)</p>.*?</div>', re.S)
            resultStr = re.search(pattern, content)
            if resultStr:
                result['description'] = resultStr.group(1)

        #應用截圖
        pattern = re.compile('<li><img data-default=.*?src="(.*?)".*?>', re.S)
        resultStr = re.search(pattern, content)
        if resultStr:
            result['screen-shot'] = resultStr.group(1)
        #print result
        return result

    #爬蟲開始入口
    def startSpider(self):
        print 'Start crawling please wait...'
        appDetailPageURL_list = self.getAppDetailPageURL()
        resultInfo = []
        for url in appDetailPageURL_list:
            resultInfo.append(self.getAppInfo(url))
        print len(resultInfo), 'apps have been crawled.'
        #resultInfo轉換為json資料格式進行儲存
        encodedjson = json.dumps(resultInfo)
        with open('appData.json', 'w') as f:
            f.write(encodedjson)
        print 'Finished.'

Spider = AppSipder()
Spider.startSpider()

相關推薦

使用python爬蟲爬取百度手機助手網站中app的資料

一、爬取程式流程圖 爬蟲程式流程圖如下： Created with Raphaël 2.1.0開始分析地址結構獲得app類別頁的url爬取app詳情頁url爬取App詳情頁的資料將爬取資料儲存到json檔案結束 二、具體步驟 1.分析

Python爬蟲 - 爬取百度html代碼前200行

http src mage bsp bubuko str 百度 爬蟲 圖片 Python爬蟲 - 爬取百度html代碼前200行 - 改進版, 增加了對字符串的.strip()處理 Python爬蟲 - 爬取百度html代碼前200行

Python爬蟲-爬取百度貼吧

方法 eba style name urlopen for pri url pen 爬取百度貼吧 ===================== ===== 結果示例： ===================================== 1 ‘‘‘ 2 爬去百

實戰python 爬蟲爬取百度貼吧圖片

#!/usr/bin/python import urllib,urllib2import re def getHtml(url): page = urllib2.urlopen(url) return page.read() def getImage(html): re_img = re.compil

python爬蟲爬取百度貼吧（入門練習）

需求說明： 從控制檯輸入指定爬取的貼吧名稱，起始頁面，結束頁面，並在檔案中 建立以  貼吧名稱+“爬取內容”  為名字建立檔案件，裡面的每一個 檔案都是爬取到的每一頁html檔案，檔名稱：貼吧名稱_page.html import urllib.reque

Python爬蟲爬取百度搜索內容介面-xpath

百度爬蟲搜尋介面1.0版 百度爬蟲搜尋介面1.0版： 通過百度關鍵字遍歷到一級頁面的url 通過百度關鍵字遍歷到一級頁面的title標題 通過百度關鍵字遍歷到一級頁面的text文字 爬取思路 拼接url 經過測試，初始時拼接url，只需要加入keyword

python爬蟲爬取百度圖片

爬蟲爬取百度圖片 因公司業務需要，而且公司人手不足，我這個測試工程師需要臨時客串一下其他職位，所以，由我來爬取百度圖片。 說明 1、最近稍微有點兒忙，沒顧得上整理。而且程式碼量比較少，所以註釋比較少。 2、如果需要直接使用我的程式碼，請將相應路徑檔名稱更改。具體

Python簡易爬蟲爬取百度貼吧圖片

decode works 接口 def 讀取 min baidu 得到 internal 　　 　　　通過python 來實現這樣一個簡單的爬蟲功能，把我們想要的圖片爬取到本地。(Python版本為3.6.0) 一.獲取整個頁面數據 　　 def getHtml(url)

Python爬蟲實例（一）爬取百度貼吧帖子中的圖片

選擇 圖片查看 負責 targe mpat wid agent html headers 程序功能說明：爬取百度貼吧帖子中的圖片，用戶輸入貼吧名稱和要爬取的起始和終止頁數即可進行爬取。 思路分析： 一、指定貼吧url的獲取 例如我們進入秦時明月吧，提取並分析其有效url如下

Python開發爬蟲爬取百度百科詞條資訊(原始碼下載)

下面使用Python開發一個網頁爬蟲，爬取百度百科詞條資訊，整個程式涉及到url管理器，html下載器，html解析器，html顯示以及排程程式： 程式結構： spider_main.py：爬蟲的排

pythonp爬蟲 爬取百度音樂

www code focus rfi aid xtra trac cookie bds #coding=utf-8 import requests import re import time from bs4 import BeautifulSoup

PHP爬蟲-爬取百度貼吧首頁違規主題貼

因為是第一次寫，感覺有點冗餘。不過嘛，本文章主要面向不知道爬蟲為何物的小夥伴。o(∩_∩)o <?php $url='http://tieba.baidu.com/f?ie=utf-8&kw=php&fr=search'; // 地址 $html = file_ge

Python + selenium 爬取百度文庫Word文字

1 # -*- coding:utf-8 -*- 2 3 import time 4 from selenium import webdriver 5 from selenium.webdriver.chrome.options import Options 6 from seleniu

Python + selenium 爬取百度文庫Word文本

count btn nts odin ott webdriver pan from div 1 # -*- coding:utf-8 -*- 2 3 import time 4 from selenium import webdriver 5 from se

python爬取百度旅遊的城市點評文字資料

以青島市為例，檢視網址主要欄位為 pn=0 n?rn=15&pn=0&style=hot#remark-contaier 最後一頁，即183頁  pn=2730 n?rn=15&pn=2730&style=hot#remark-contai

Python爬取百度貼吧回帖中的微訊號（基於簡單http請求）

作者：草小誠 轉載請注原文地址：https://blog.csdn.net/cxcjoker7894/article/details/85685115 前些日子媳婦兒有個需求，想要一個任意貼吧近期主題帖的所有回帖中的微訊號，用來做一些微商的操作，你懂的。因為有些貼吧專門就是

python 爬蟲, 抓取百度美女吧圖片

# ----2018-7-15 ------世界盃總決賽 import requests from lxml import etree import re class TiBa_Image(object):     # 建立同意方法     def __init__(

編寫爬蟲爬取百度貼吧帖子的學習筆記

再接再厲，再次使用python3學習編寫了一個爬取百度貼吧帖子的程式，不多說，直接上關鍵程式碼 #抓取貼吧一個帖子上的內容（一頁內容） import urllib import urllib.req

python 3 爬取百度圖片

糾結於爬取百度圖片，竟然花費了一天的時間才讓程式順利跑起來。其中踩坑無數。而且還發現公司電腦實在是比較差勁。。。 import requests import urllib import os , re from os.path import join

Python開發簡單爬蟲（二）---爬取百度百科頁面數據

class 實例 實例代碼 編碼 mat 分享 aik logs title 一、開發爬蟲的步驟 1.確定目標抓取策略： 打開目標頁面，通過右鍵審查元素確定網頁的url格式、數據格式、和網頁編碼形式。 ①先看url的格式, F12觀察一下鏈接的形式;② 再看目標文本信息的