2. 程式人生 > >Python爬取手機APP

Python爬取手機APP

阿新 • • 發佈：2019-01-26

之前寫了一個自動簽到的指令碼，我姐本來讓我給她寫一個手機app自動簽到的指令碼的，後來發現自己不會爬手機app，現在抽時間找了教程，看完教程後來爬一下手機app試一試。在爬手機app時先要安裝的的軟體是Fiddler :

  1. 下載地址: https://pan.baidu.com/s/1dQx4-ADztgKTCK__uG7xUw 密碼: r8kg
  2. 安裝好Fiddler後開啟.exe檔案，開始配置，首先點選"tools" -> "Teletik Fiddler Options"，按照下面圖進行配置
  3. 將下載的證書傳到手機上，並進行安裝

​​​​​​​

我的手機是華為nova2，安裝的時候是從資料夾搜尋並安裝的，我也不知道為什麼不能在系統安全那直接安裝。

安裝好證書後，修改手機WLAN的配置 ，並且手機與電腦需要保證在同一區域網中。需要修改的是 : 將所連WiFi的代理改為手動，伺服器主機名一項填寫自己電腦的IP地址，伺服器埠一項填寫8888（因為Fiddler一般預設埠是8888），然後儲存。就可以開始抓包了。開啟一個手機app，這裡選的是王者榮耀盒子，會看到Fiddler中出現很多資訊，只需挑選有用的即可 ：

左邊選中的連結是顯示英雄頁面，右下方可以對比手機頁面，可以看是否將所有的英雄顯示。接下來將英雄資訊爬取下來 :

import requests

def main():
    headers = {
    	# 將Fiddler右上方的內容填在headers中
        "Accept-Charset": "UTF-8",
        "Accept-Encoding": "gzip,deflate",
        "User-Agent": "Dalvik/2.1.0 (Linux; U; Android 7.0; HUAWEI CAZ-TL10 Build/HUAWEICAZ-TL10)",
        "X-Requested-With": "XMLHttpRequest",
        "Content-type": "application/x-www-form-urlencoded",
        "Connection": "Keep-Alive",
        "Host": "gamehelper.gm825.com"
    }
    # 右上方有個get請求,將get後的網址賦給heros_url
    heros_url = "http://gamehelper.gm825.com/wzry/hero/list?channel_id=90001a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.1.0&version_code=13010&cuid=F6DFAFC3BED1C29825EC8D404110F5C5&ovr=7.0&device=HUAWEI_HUAWEI+CAZ-TL10&net_type=1&client_id=&info_ms=&info_ma=hoeVma%2BgYmXjgZG7TVJzaoLyRRILGMIaVltuIflvZFE%3D&mno=0&info_la=mh%2FAbS1DsM0kM7IDlFIbYQ%3D%3D&info_ci=mh%2FAbS1DsM0kM7IDlFIbYQ%3D%3D&mcc=0&clientversion=13.0.1.0&bssid=zRqQJG5mLlFy6mYG4YA%2BE0UcqUCBAXmZcXNHROzwWy8%3D&os_level=24&os_id=c0be30adbd11c768&resolution=1080_1788&dpi=480&client_ip=192.168.2.114&pdunid=WWUDU16A29002522"
    # 英雄的列表顯示在json格式下
    res = requests.get(url=heros_url, headers=headers).json()
    # 列印列表
    print(res['list'])
    # 計算有多少個英雄
    print(len(res['list']))

if __name__ == "__main__":
    main()

上述程式碼可以將英雄爬下來，下面是執行結果 (上面還有好多):

 可以觀察到，每個英雄的圖片也各自的字典的"cover"下，接下來將圖片下載到電腦 ：

import requests
import os
from urllib.request import urlretrieve

# 右上方有個get請求,將get後的網址賦給heros_url
heros_url = "http://gamehelper.gm825.com/wzry/hero/list?channel_id=90001a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.1.0&version_code=13010&cuid=F6DFAFC3BED1C29825EC8D404110F5C5&ovr=7.0&device=HUAWEI_HUAWEI+CAZ-TL10&net_type=1&client_id=&info_ms=&info_ma=hoeVma%2BgYmXjgZG7TVJzaoLyRRILGMIaVltuIflvZFE%3D&mno=0&info_la=mh%2FAbS1DsM0kM7IDlFIbYQ%3D%3D&info_ci=mh%2FAbS1DsM0kM7IDlFIbYQ%3D%3D&mcc=0&clientversion=13.0.1.0&bssid=zRqQJG5mLlFy6mYG4YA%2BE0UcqUCBAXmZcXNHROzwWy8%3D&os_level=24&os_id=c0be30adbd11c768&resolution=1080_1788&dpi=480&client_ip=192.168.2.114&pdunid=WWUDU16A29002522"


def imgs_download(heros_url, headers):
    res = requests.get(url=heros_url, headers=headers).json()
    hero_path = "heros_img"
    for hero in res['list']:
        img_url = hero['cover']
        hero_name = hero['name'] + ".png"
        filename = hero_path + "/" + hero_name
        if hero_path not in os.listdir():
            os.makedirs(hero_path)
        urlretrieve(url=img_url, filename=filename)


def main():
    headers = {
        # 將Fiddler右上方的內容填在headers中
        "Accept-Charset": "UTF-8",
        "Accept-Encoding": "gzip,deflate",
        "User-Agent": "Dalvik/2.1.0 (Linux; U; Android 7.0; HUAWEI CAZ-TL10 Build/HUAWEICAZ-TL10)",
        "X-Requested-With": "XMLHttpRequest",
        "Content-type": "application/x-www-form-urlencoded",
        "Connection": "Keep-Alive",
        "Host": "gamehelper.gm825.com"
    }
    # 英雄的列表顯示在json格式下
    # res = requests.get(url=heros_url, headers=headers).json()
    # 列印列表
    # print(res['list'])
    # 計算有多少個英雄
    # print(len(res['list']))
    imgs_download(heros_url, headers)


if __name__ == "__main__":
    main()

上述是下載圖片的原始碼，下載有點慢，部分結果如下圖 （是按照拼音首字母排序，本來最新的一個是司馬懿的）：

 接下來就是列印每個英雄的歷史背景與使用技巧，個人覺得英雄出裝和銘文這種東西得靠自己摸索（說實話是我懶得我爬他的銘文和推薦出裝了）

import requests
# import os
# from urllib.request import urlretrieve

# 右上方有個get請求,將get後的網址賦給heros_url
heros_url = "http://gamehelper.gm825.com/wzry/hero/list?channel_id=90001a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.1.0&version_code=13010&cuid=F6DFAFC3BED1C29825EC8D404110F5C5&ovr=7.0&device=HUAWEI_HUAWEI+CAZ-TL10&net_type=1&client_id=&info_ms=&info_ma=hoeVma%2BgYmXjgZG7TVJzaoLyRRILGMIaVltuIflvZFE%3D&mno=0&info_la=mh%2FAbS1DsM0kM7IDlFIbYQ%3D%3D&info_ci=mh%2FAbS1DsM0kM7IDlFIbYQ%3D%3D&mcc=0&clientversion=13.0.1.0&bssid=zRqQJG5mLlFy6mYG4YA%2BE0UcqUCBAXmZcXNHROzwWy8%3D&os_level=24&os_id=c0be30adbd11c768&resolution=1080_1788&dpi=480&client_ip=192.168.2.114&pdunid=WWUDU16A29002522"

def hero_info(heros_url, headers):
    res = requests.get(url=heros_url, headers=headers).json()
    for hero in res['list']:
        id = hero['hero_id']
        info_url = "http://gamehelper.gm825.com/wzry/hero/detail?hero_id=" + id + "&channel_id=90001a&app_id=h9044j&game_id=7622&game_name=%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80&vcode=13.0.1.0&version_code=13010&cuid=F6DFAFC3BED1C29825EC8D404110F5C5&ovr=7.0&device=HUAWEI_HUAWEI+CAZ-TL10&net_type=1&client_id=UTAH2jTRdl%2FfxnOjEiOS4A%3D%3D&info_ms=%2BpdbZccbIPeH%2BTpoBwY0gw%3D%3D&info_ma=hoeVma%2BgYmXjgZG7TVJzaoLyRRILGMIaVltuIflvZFE%3D&mno=0&info_la=mh%2FAbS1DsM0kM7IDlFIbYQ%3D%3D&info_ci=mh%2FAbS1DsM0kM7IDlFIbYQ%3D%3D&mcc=0&clientversion=13.0.1.0&bssid=zRqQJG5mLlFy6mYG4YA%2BE0UcqUCBAXmZcXNHROzwWy8%3D&os_level=24&os_id=c0be30adbd11c768&resolution=1080_1788&dpi=480&client_ip=192.168.2.114&pdunid=WWUDU16A29002522"
        res = requests.get(url=info_url, headers=headers).json()
        print(hero['name'] + " : ")
        print("歷史上的他/她 : " + res['info']['history_intro'])
        print("背景故事 : " + res['info']['background_story'])
        print("對抗技巧 : " + res['info']['hero_tips'])
        print("團戰思想 : " + res['info']['melee_tips'] + "\n")


def main():
    headers = {
        # 將Fiddler右上方的內容填在headers中
        "Accept-Charset": "UTF-8",
        "Accept-Encoding": "gzip,deflate",
        "User-Agent": "Dalvik/2.1.0 (Linux; U; Android 7.0; HUAWEI CAZ-TL10 Build/HUAWEICAZ-TL10)",
        "X-Requested-With": "XMLHttpRequest",
        "Content-type": "application/x-www-form-urlencoded",
        "Connection": "Keep-Alive",
        "Host": "gamehelper.gm825.com"
    }
    hero_info(heros_url, headers)


if __name__ == "__main__":
    main()

上述程式碼將app中描述英雄的背景與實戰技巧打印出來，具體結果例項如下 ：

以上就是爬取手機app資訊的內容，自己也還是處於入門階段，所以只有先試水一下這種簡單一點。 

相關推薦

用Python爬取手機APP

本文轉自：https://mp.weixin.qq.com/s?__biz=MzAxMjUyNDQ5OA==&mid=2653558162&idx=1&sn=73ae2ee5d2453773bceec078e39ca0ed&chksm=806e3b2fb71

Python爬取手機APP上面的資料

前言 在我們在爬取手機APP上面的資料的時候，都會藉助Fidder來爬取。今天就教大家如何爬取手機APP上面的資料。 環境配置 1、Fidder的安裝和配置 下載Fidder軟體地址：https://www.telerik.com/download/fiddler 然

Python爬取手機APP

之前寫了一個自動簽到的指令碼，我姐本來讓我給她寫一個手機app自動簽到的指令碼的，後來發現自己不會爬手機app，現在抽時間找了教程，看完教程後來爬一下手機app試一試。在爬手機app時先要安裝的的軟體是Fiddler : 下載地址: https://pan.baidu.co

Python抓取手機APP中內容

quest 手機app 開始 clas tex json 完成 keep 抓取 首先下載Wireshark和模擬器（天天模擬器，夜神模擬器），天天模擬器在自帶的應用商店裏面能夠登錄微信。 然後打開Wireshark選擇一個網卡開始抓包。 開始抓包後，在模擬器中要抓取的APP

Python爬取手機號碼前7位號段歸屬地及運營商

最近剛好因為工作需要，邊學邊實踐了爬取手機號碼前7位號段歸屬地及運營商，感覺還是挺有用，特地拿來分享一下。 我爬取的網址是：http://www.ip138.com:8080/search.asp?mobile= 介面是這樣的 我發現輸入一個號段查詢之後的網址是這樣：http://

爬取手機app

本文轉自：https://blog.csdn.net/c406495762/article/details/76850843 1 前言     暑假回家，”小皇帝”

python 爬取京東手機圖

跳過 close 高手 cnblogs port cep findall pen 得到 初學urllib，高手勿噴... import re import urllib.request #函數：每一頁抓取的30張圖片 def craw(url,page): ima

Python爬蟲：抓取手機APP的數據

sig ner ont sele ebo span fail pytho 抓取 摘要: 大多數APP裏面返回的是json格式數據，或者一堆加密過的數據 。這裏以超級課程表APP為例，抓取超級課程表裏用戶發的話題。 1、抓取APP數據包 方法詳細可以參考這篇博文：

python爬取ios中app store關鍵字排行榜的介面

import requests cookies = { "Cookie": "xp_ci=3z2QZ7wgz1BDz4qZzAGKzHKUylWKp; itspod=9; mzf_in=092487; ns-mzf-inst=36-77-443-109-103-8282-92487-9-s

Python爬取抖音APP，竟然只需要十行程式碼

環境說明 環境： python 3.7.1 centos 7.4 pip 10.0.1 部署 [[email protected] ~]# python3.7 --version Python 3.7.1 [[email protected] ~]#

Python3+Fiddler爬取手機端APP（三） ————使用Appium在真機模擬爬取

最終： 例子： 爬取天眼查： 1.手機開啟開發者模式，允許USB除錯 2.cmd輸入adb 3.下載apk 4.開啟appium，拖入apk，並填上裝置名 5.寫對應python程式 import selenium import time from ap

Python爬取微博APP

全文簡介 本文是用Python爬取微博移動端的資料。可以看一下Robots協議。另外儘量不要爬取太快。如果你毫無節制的去爬取別人資料，別人網站當然會反爬越來越嚴厲。所以，不要難為別人，到最後其實是在難為你自己。至於為什麼不爬PC端，原因是移動端較簡單，很適合爬蟲新手入門。有

使用python爬取抖音app視訊

記錄一下如何用python爬取app資料，本文以爬取抖音視訊app為例。程式設計工具：pycharmapp抓包工具：mitmproxyapp自動化工具：appium執行環境：windows10思路：假設已經配置好我們所需要的工具1、使用mitmproxy對手機app抓包獲取我

Python爬蟲：抓取手機APP資料

1、抓取APP資料包     得到超級課程表登入的地址：http://120.55.151.61/V2/StudentSkip/loginCheckV4.action     表單： 表單中包括了使用者名稱和密碼，當然都是加密過了的，還有一個裝置資訊，直接

教你用Python爬取妹子圖APP

教你用Python爬美之圖APP(妹子圖) 爬取結果 程式只運行了2h,最後認為程式沒有問題了就關了(我可不是去殺生去了…… 執行環境 Python 3.5+ Windows 10 VSCode 如何使用 下載專案原始碼 https

python爬取抖音APP視訊教程

本文講述爬取抖音APP視訊資料（本文未完，後面還有很多地方優化總結） 公眾號回覆：抖音 即可獲取原始碼 python爬蟲人工智慧大資料（公眾號） 1、APP抓包教程，需要用到fiddler 2、尋找返回使用者aweme_count和uid資料的介面 進入我

python爬取淘寶華為手機

import re from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by impor

Python網路爬蟲——Appuim+夜神模擬器爬取得到APP課程資料

一、背景介紹 隨著生產力和經濟社會的發展，溫飽問題基本解決，人們開始追求更高層次的精神文明，開始願意為知識和內容付費。從2016年開始，內容付費漸漸成為時尚。 羅輯思維創始人羅振宇全力打造“得到APP”就是這樣一款優質的可以聽音訊、學通識課程、看電子書、看直播、記筆記的知識付費平臺，得到匯聚羅振宇、薛兆豐、樑

python爬取網易雲音樂歌單音樂

string attrs default textarea bsp color read contents dom 在網易雲音樂中第一頁歌單的url：http://music.163.com/#/discover/playlist/ 依次第二頁：http://music.1

python 爬取qidian某一頁全部小說

decode return data- dib read etc break beautiful range 1 import re 2 import urllib.request 3 from bs4 import BeautifulSou