2. 程式人生 > >用appium爬取資料python3實現

用appium爬取資料python3實現

阿新 • • 發佈：2018-12-09

二、參考博文  以下網址對於這篇教程非常重要，感謝分享

在看這篇教程前，希望你已經具備selenium動態抓取網頁的知識，若不熟悉，可參看https://blog.csdn.net/Fan_shui/article/details/81516645 三、環境搭建  我最開始是按照崔大的環境搭建 https://cuiqingcai.com/5407.html,然後弄完之後發現在notepad裡面寫的python執行不了，不能開啟手機端的app，appium倒是可以開啟。另外一篇環境搭建的博文安裝的appium是舊版，我推薦先按照崔大的教程把appium環境和Android studio搭建下載好，重點

：我們在安裝的時候，安裝環境只要是可以改的都改，不要按照預設的下在c盤，c盤就那麼大個兒，最重要的是要清楚自己的安裝位置，後面會用到。（當然也可以直接按照悠悠博主的教程一步步的搭建下來，若是這樣，環境搭建下面就都可以不用看了）  我們按照崔大的教程把appium環境+Android studio搭建好，其中第三步我再詳細加一點，下圖是崔大文中的第三步這裡寫圖片描述 我的安裝位置在F:/SDK 這裡寫圖片描述 在環境變數中，系統變數下增加一個這樣 這裡寫圖片描述  在系統變數的path中增加個下面兩個 這裡寫圖片描述  弄好後，我們開啟另外一篇博文https://www.cnblogs.com/yoyoketang/p/6128725.html，一步步按照教程來，其中第三步、四步android_sdk下載就不用再下了，崔大的博文中已經下過。（ps:悠悠博主的後面幾篇環境搭建也要看）

四、appium的使用  恭喜恭喜，走到這一步，我走到這兒可是花了好幾天的時間。本文使用的真機，沒用模擬器，感興趣的可以搜下模擬器的使用。我們用usb連線上手機，要開啟手機上的usb除錯，然後輸入adb devices -l(不是數字1,是小寫l) 這裡寫圖片描述 出現上圖就證明手機和電腦連線成功，若是出現下圖這種，就把手機拔掉再重連一下 這裡寫圖片描述  成功後，開啟appium 這裡寫圖片描述

這裡寫圖片描述 platformName:平臺名稱  deviceName:裝置名稱，就是剛才的adb devices -l中mode後面就是  appPackage:app包名  appActivity:app活動名

start sessions後 這裡寫圖片描述

我們可以點選左邊的登陸（忍不住抱怨下微信，我不就是多登陸了兩下，然後微訊號被封了一天(* ￣︿￣)），點選登陸後可以看到中間的App Source有高亮的程式碼，就是這個登陸按鈕的，可以再看右邊的Selected Element中有Tap、Send keys、Clear。  在最左邊圖中點選登陸後，若最右邊下面的clickable是True，則證明可以點選，可以通過點選Tap實現點選功能，appium就介紹到這。

五、python對接Appium

首先我們要對接app，就是類似於start session這樣的連線 注：程式碼執行時要保證手機不黑屏

from appium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

PLATFORM='Android'
deviceName='HUAWEI_P7_L09'
app_package='com.tencent.mm'
app_activity='.ui.LauncherUI'
driver_server='http://127.0.0.1:4723/wd/hub'

class Moments():
    def __init__(self):
        self.desired_caps={
        'platformName':PLATFORM,
        'deviceName':deviceName,
        'appPackage':app_package,
        'appActivity':app_activity}
        self.driver=webdriver.Remote(driver_server,self.desired_caps)
        self.wait=WebDriverWait(self.driver,300)

    def login(self):
        print('正在登陸中——————')

    def main(self):
        self.login()

M=Moments()
M.main()

如果出現 urllib.error.URLError: urlopen error [WinError 10061] 由於目標計算機積極拒絕，無法連線。  看看開啟appium沒有，開啟後再執行上面的程式碼就沒有問題,手機會自動轉到微信的登陸介面（注：deviceName要改成自己手機的） 這裡寫圖片描述  開啟微信後，我們要模擬點選登陸按鈕，首先要定位到登陸元素，這個跟selenium的用法類似，我們可以開啟appium用前面的方式連線微信，也可以開啟sdk安裝路徑下tools中的uiautomatorviewer.bat，第二種方法比較快 這裡寫圖片描述  下圖中，要先點選圖中的按鈕，才會出現手機上的畫面，圖中我已經定位到登陸按鈕，可以在右邊看到屬性resource-id,以及clickable=True，確實是可以點選的，為什麼要這樣確認下呢，因為有的你以為可以點選的元素，也許你定位沒有定好，比如說你定位到登陸外更大的一個框，它是不可點選的 這裡寫圖片描述

from appium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

PLATFORM='Android'
deviceName='HUAWEI_P7_L09'
app_package='com.tencent.mm'
app_activity='.ui.LauncherUI'
driver_server='http://127.0.0.1:4723/wd/hub'

class Moments():
    def __init__(self):
        self.desired_caps={
        'platformName':PLATFORM,
        'deviceName':deviceName,
        'appPackage':app_package,
        'appActivity':app_activity}
        self.driver=webdriver.Remote(driver_server,self.desired_caps)
        self.wait=WebDriverWait(self.driver,300)

    def login(self):
        print('點選登陸按鈕——————')
        login=self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/d75')))
        login.click()

    def main(self):
        self.login()

M=Moments()
M.main()

執行後就會跳出登陸介面，接下來就都是定位元素與點選元素的事情：

from appium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

PLATFORM='Android'
deviceName='HUAWEI_P7_L09'
app_package='com.tencent.mm'
app_activity='.ui.LauncherUI'
driver_server='http://127.0.0.1:4723/wd/hub'

class Moments():
    def __init__(self):
        self.desired_caps={
        'platformName':PLATFORM,
        'deviceName':deviceName,
        'appPackage':app_package,
        'appActivity':app_activity}
        self.driver=webdriver.Remote(driver_server,self.desired_caps)
        self.wait=WebDriverWait(self.driver,300)

    def login(self):
        print('點選登陸按鈕——————')
        login=self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/d75')))
        login.click()
        #輸入手機號
        phone=self.wait.until(EC.presence_of_element_located((By.ID,    'com.tencent.mm:id/hz')))
        phone_num=input('請輸入手機號')
        phone.send_keys(phone_num)
        print('點選下一步中')
        button=self.wait.until(EC.presence_of_element_located((By.ID,       'com.tencent.mm:id/alr')))
        button.click()
        pass_w=input('請輸入密碼：')
        password=self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/hz')))
        password.send_keys(pass_w)

        login=self.driver.find_element_by_id('com.tencent.mm:id/alr')
        login.click()
        #提示 叉掉
        tip=self.wait.until(EC.element_to_be_clickable((By.ID,'com.tencent.mm:id/an2')))
        tip.click()

    def main(self):
        self.login()

M=Moments()
M.main()

現在已經進入到微信了，我們需要先定位到微信下面的 發現->朋友圈

from appium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import time
PLATFORM='Android'
deviceName='HUAWEI_P7_L09'
app_package='com.tencent.mm'
app_activity='.ui.LauncherUI'
driver_server='http://127.0.0.1:4723/wd/hub'

class Moments():
    def __init__(self):
        self.desired_caps={
        'platformName':PLATFORM,
        'deviceName':deviceName,
        'appPackage':app_package,
        'appActivity':app_activity}
        self.driver=webdriver.Remote(driver_server,self.desired_caps)
        self.wait=WebDriverWait(self.driver,300)

    def login(self):
        print('點選登陸按鈕——————')
        login=self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/d75')))
        login.click()
        #輸入手機號
        phone=self.wait.until(EC.presence_of_element_located((By.ID,    'com.tencent.mm:id/hz')))
        phone_num=input('請輸入手機號')
        phone.send_keys(phone_num)
        print('點選下一步中')
        button=self.wait.until(EC.presence_of_element_located((By.ID,       'com.tencent.mm:id/alr')))
        button.click()
        pass_w=input('請輸入密碼：')
        password=self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/hz')))
        password.send_keys(pass_w)

        login=self.driver.find_element_by_id('com.tencent.mm:id/alr')
        login.click()
        #提示 叉掉
        tip=self.wait.until(EC.element_to_be_clickable((By.ID,'com.tencent.mm:id/an2')))
        tip.click()

    def enter(self):
        print('點擊發現——')
        tab=self.wait.until(EC.element_to_be_clickable((By.XPATH,'//*[@resource-id="com.tencent.mm:id/cdh"]/..')))
        print('已經找到發現按鈕')
        time.sleep(6)
        tab.click()
        # self.wait.until(EC.text_to_be_present_in_element((By.ID,'com.tencent.mm:id/cdj'),'發現'))
        print('點選朋友圈')
        friends=self.wait.until(EC.presence_of_element_located((By.XPATH,'//*[@resource-id="android:id/list"]/*[@class="android.widget.LinearLayout"][1]')))
        friends.click()

    def main(self):
        self.login()
        self.enter()

M=Moments()
M.main()

都是些元素定位，多用幾次就會了。接下來我們可以提取資料了

from appium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import time
import pymongo
PLATFORM='Android'
deviceName='HUAWEI_P7_L09'
app_package='com.tencent.mm'
app_activity='.ui.LauncherUI'
driver_server='http://127.0.0.1:4723/wd/hub'

class Moments():
    def __init__(self):
        self.desired_caps={
        'platformName':PLATFORM,
        'deviceName':deviceName,
        'appPackage':app_package,
        'appActivity':app_activity}
        self.driver=webdriver.Remote(driver_server,self.desired_caps)
        self.wait=WebDriverWait(self.driver,300)
        self.client=pymongo.MongoClient()
        self.db=self.client.weixin
        self.collection=self.db.weixin

    def login(self):
        print('點選登陸按鈕——————')
        login=self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/d75')))
        login.click()
        #輸入手機號
        phone=self.wait.until(EC.presence_of_element_located((By.ID,    'com.tencent.mm:id/hz')))
        phone_num=input('請輸入手機號：')
        phone.send_keys(phone_num)
        print('點選下一步中')
        button=self.wait.until(EC.presence_of_element_located((By.ID,       'com.tencent.mm:id/alr')))
        button.click()
        pass_w=input('請輸入密碼：')
        password=self.wait.until(EC.presence_of_element_located((By.ID,'com.tencent.mm:id/hz')))
        password.send_keys(pass_w)

        login=self.driver.find_element_by_id('com.tencent.mm:id/alr')
        login.click()
        #提示 叉掉
        tip=self.wait.until(EC.element_to_be_clickable((By.ID,'com.tencent.mm:id/an2')))
        tip.click()

    def enter(self):
        print('點擊發現——')
        tab=self.wait.until(EC.element_to_be_clickable((By.XPATH,'//*[@resource-id="com.tencent.mm:id/cdh"]/..')))
        print('已經找到發現按鈕')
        time.sleep(6)
        tab.click()
        # self.wait.until(EC.text_to_be_present_in_element((By.ID,'com.tencent.mm:id/cdj'),'發現'))
        print('點選朋友圈')
        friends=self.wait.until(EC.presence_of_element_located((By.XPATH,'//*[@resource-id="android:id/list"]/*[@class="android.widget.LinearLayout"][1]')))
        friends.click()

    def crawl(self):
        while True:
            items=self.wait.until(EC.presence_of_all_elements_located((By.XPATH,'//*[@resource-id="com.tencent.mm:id/dja"]//*[@class="android.widget.FrameLayout"]')))
            self.driver.swipe(300,1000,300,300)
            for item in items:
                try:
                    nickname=item.find_element_by_id('com.tencent.mm:id/as6').get_attribute('text')
                    print(nickname)
                    content=item.find_element_by_id('com.tencent.mm:id/dkf').get_attribute('text')
                    print(content)
                    data={'nickname':nickname,
                    'content':content}
                    self.collection.update({'nickname':nickname,'content':content},{'$set':data},True)

                except:
                    pass


    def main(self):
        self.login()
        self.enter()
        self.crawl()

M=Moments()
M.main()

driver.swipe()是從點A滑動到點B,driver.swipe(300,1000,300,300)是從點（300，1000）滑動到（300，300）

self.collection.update({'nickname':nickname,'content':content},{'$set':data},True)

首先根據暱稱和正文來查詢，如果資訊不存在，則插入資料，否則更新資料，關鍵點是第三個引數True，這可以實現存在即更新，不存在即插入的程式碼，用著感覺很舒服呢 這裡寫圖片描述

總的來說，感覺學appium挺不容易的，開頭就有個環境配置，後面再加上appium對接python的時候超級慢，除錯要等很久，再加上微信次數登多了會被封一天，所以這篇教程花了很多時間，在這段時間內下一篇mitmdump都已經誕生了………

相關推薦

用appium爬取資料python3實現

二、參考博文  以下網址對於這篇教程非常重要，感謝分享 在看這篇教程前，希望你已經具備selenium動態抓取網頁的知識，若不熟悉，可參看https://blog.csdn.net/Fan_shui/article/details/81516645 三、

python3 爬蟲實戰 ：用 Appium 抓取手機 app 微信 的 資料

  From：https://blog.csdn.net/Fan_shui/article/details/81413595   本編教程從 appium 的環境配置開始，到抓取手機 app 微信朋友圈結束。 知乎：https://zhuanlan.zhihu.c

Python3.6實現scrapy框架爬取資料並將資料插入MySQL與存入文件中

# -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: http://doc.scrapy.org

用python爬取股票資料的一點小結

一、背景 網上對於爬取股票資料有相對完善的教程。不過大部分教程都是隻能夠爬取一段時間的股票資料，針對某一隻股票的歷史資料爬取，目前還沒有看到比較好的教程。下面對近期學的東西進行一點點小結。 二、股票資料爬取網站 網上更多推薦的是東方財富的股票資料，連結為：http://quote.eas

scrapy框架 用post 爬取網站資料 的兩種方法區別

post請求，一定要重新呼叫父類的 start_requests(self)方法 方法1：（推薦） 重構start_requests def start_requests(self): data = { 'source': 'index_na

用Python爬取微博資料生成詞雲圖片

很早之前寫過一篇怎麼利用微博資料製作詞雲圖片出來，之前的寫得不完整，而且只能使用自己的資料，現在重新整理了一下，任何的微博資料都可以製作出來，放在今天應該比較應景。 一年一度的虐汪節，是繼續蹲在角落默默吃狗糧還是主動出擊告別單身汪加入散狗糧的行列就看你啦，七夕送什麼才有心意，程式猿可以試試用

用scrapy爬取京東的資料

# -*- coding: utf-8 -*- import scrapy from ..items import JdphoneItem import sys reload(sys) sys.setdefaultencoding("utf-8") class JdSpider(scrapy.Spid

【爬蟲例項1】python3下使用beautifulsoup爬取資料並存儲txt檔案

1：執行環境： python： 3.7.0 系統：Windows IDE：pycharm 2017 2：需要安裝的庫： requests 和 beautifulsoup 3：完整程式碼： # cod

有哪些網站用爬蟲爬取能得到很有價值的資料？

0、IT桔子和36Kr在專欄文章中（http://zhuanlan.zhihu.com/p/20714713），抓取IT橘子和36Kr的各公司的投融資資料，試圖分析中國各家基金之間的互動關係。 1、知乎滄海橫流，看行業起伏，抓取並彙總所有的答案，方便大家閱讀，找出2015年

喜歡抖音上面的音樂怎麼辦？用Python爬取音樂並分類放置資料夾

最近小編也在刷著抖音，上面的小哥哥、小姐姐各個都是人才，小編超喜歡裡面的 歌也挺好聽的，小編就打算把抖音上面歌曲都下載並且分類，把自己的喜歡的歌換成手機鈴聲，那麼抖音上面都有那些好聽的歌呢，比如： 《最美的期待》 周筆暢 《那個人》 周延英 《Panama》 Matteo 《病變

資料採集（四）：用XPath爬取鏈家網房價資料

準備工作 編寫爬蟲前的準備工作，我們需要匯入用到的庫，這裡主要使用的是requests和lxml兩個。還有一個Time庫，負責設定每次抓取的休息時間。 import requests import requests import time from lxml

資料採集（三）：用XPath爬取騰訊新聞

需要匯入的庫 import requests from lxml import etree 先用requests.get()方法請求頁面 result=requests.get("http://news.qq.com/") encode=resul

爬蟲入門講解（用urllib庫爬取資料 ）

首先介紹說明什麼是爬蟲？ 是一種按照一定的規則，自動地抓取網際網路資訊的程式或者指令碼。  所謂網頁抓取，就是把URL地址中指定的網路資源從網路流中讀取出來，儲存到本地。 在 Python中有很多庫可以用來抓取網頁  爬蟲分類  通用爬蟲（General Purpose

Python3--批量爬取資料之調金山詞霸api進行翻譯

上程式碼： #/usr/bin/env python3 #coding=utf8 from fake_useragent import UserAgent import http.client import hashlib import urllib import rand

用python爬取新浪微博資料 （無需手動獲取cookie)

從java 轉為python from selenium import webdriver import selenium from selenium.webdriver.common.desired_capabilities import DesiredCapabi

有哪些網站用爬蟲爬取能得到很有價值的資料

0、IT桔子和36Kr在專欄文章中（http://zhuanlan.zhihu.com/p/20714713），抓取IT橘子和36Kr的各公司的投融資資料，試圖分析中國各家基金之間的互動關係。1、知乎滄海橫流，看行業起伏，抓取並彙總所有的答案，方便大家閱讀，找出2015年最熱

用python的matplotlib和numpy庫繪製股票K線均線的整合效果（含從網路介面爬取資料和驗證交易策略程式碼）

    本人最近在嘗試著發表“以股票案例入門Python程式語言”系列的文章，在這些文章裡，將用Python工具繪製各種股票指標，在講述各股票指標的含義以及計算方式的同時，驗證基於各種指標的交易策略，本文是第一篇，通過K線和均線案例講述Numpy，Maplotlib

用Python爬取股票資料，繪製K線和均線並用機器學習預測股價（來自我出的書）

    最近我出了一本書，《基於股票大資料分析的Python入門實戰 視訊教學版》，京東連結：https://item.jd.com/69241653952.html，在其中用股票範例講述Python爬蟲、資料分析和機器學習的技術，大家看了我的書，不僅能很快用比較熱門的案例學好Python

用selenium爬取淘寶美食

display cts win clas .get cto 分享 element nal ‘‘‘利用selenium爬取淘寶美食網頁內容‘‘‘ import re from selenium import webdriver from selenium.common.

我用Python爬取網易雲音樂上的Hip-hop歌單，分析rapper如何押韻

line gone 謠言 大致 -i 態度 大眾 其中 當前 緣起 《中國有嘻哈》這個節目在這個夏天吸引了無數的目光，也讓嘻哈走進了大眾的視野。作為我今年看的唯一一個綜藝節目，它對我的影響也蠻大。這個夏天，我基本都在杭州度過，在上下班的taxi上，我幾乎都在刷這個節目，最後