2. 程式人生 > >基於影象模板匹配的按鈕模擬點選 based on python

基於影象模板匹配的按鈕模擬點選 based on python

阿新 • • 發佈：2018-12-31

程式碼地址，也不要吝惜打一顆星~
https://github.com/TQCAI/auto_click_button_by_template_matching

目錄：

最近遇到一個問題，在mathtype中用輸入面板公式的時候，
沒有快捷鍵，就連Ctrl+Z的撤銷都沒有，簡直頭痛。於是我想到了用按鍵精靈來解決。
一個只有按鈕沒有快捷鍵的介面：


這裡寫圖片描述

模板匹配

參考文獻：Python+OpenCV學習（7）—模板匹配 - CSDN部落格
模板匹配是一種在圖片中找到目標圖片座標位置的影象處理技術，如圖：
這裡寫圖片描述
通過這種技術，我們首先對整個螢幕進行截圖：

img = np.array(ImageGrab.grab())

然後就在螢幕中查詢按鈕圖片的座標位置即可。

模擬滑鼠事件

參考文獻：如何使用python來模擬滑鼠點選（將通過例項自動化模擬在360瀏覽器中自動搜尋”python”） - huidaoli - 部落格園

本程式的執行步驟如下：

  • 通過模板匹配找到按鈕的座標
  • 獲取滑鼠的當前位置
  • 將滑鼠移動到目標按鈕區域，模擬點選操作
  • 讓滑鼠回到原來的區域

托盤式的操作介面

參考文獻：PyQt5 系統托盤圖示和訊息通知 - 即刻 - 部落格園

程式執行後將在系統托盤區顯示，避免干擾使用者，並且方便操作：
托盤介面：
這裡寫圖片描述
單擊托盤按鈕後顯示程式執行介面：
這裡寫圖片描述

多執行緒+HOOK監聽實現快捷鍵捕捉

參考文獻：GitHub - ethanhs/pyhooked: Pure Python hotkey hook, with thanks to pyHook and pyhk

本程式使用了GitHub上的一個開源pyhook庫，用於監聽鍵盤事件。
因為需要監聽，所以需要兩個執行緒，一個執行緒為主介面，一個執行緒為監聽程式。

實現效果

這裡寫圖片描述
這裡寫圖片描述

相關推薦

基於影象模板匹配的按鈕模擬點選 based on python

程式碼地址，也不要吝惜打一顆星~ https://github.com/TQCAI/auto_click_button_by_template_matching 目錄： 模板匹配 模擬滑鼠事

unity 動態匹配按鈕的點選事件

我們在UI的時候，肯定少不了建立Button，既然是按鈕肯定少不了點選事件，如果按鈕少了還好說，通過unity面板進行視覺化操作就好了，但如果一個UI裡面有大量的按鈕，一個遊戲裡有很多重複場景，那麼我

js或者jQuery模擬點選提交按鈕button，觸發提交操作

一般情況下提交form表單，都是手動點選提交按鈕，但是為了簡化使用者操作，有時候需要自動提交表單，或者做了其他某一個操作(非提交操作)之後自動提交表單，可以使用js或者jQuery模擬點選提交按鈕，然後提交，觸發提交操作 不只是提交表單，其他需要點選的時候都可以這麼寫，不用人手動點選而達到手

jsp 模擬按鈕，點選button，連結到a標籤，是a標籤的地址跳轉

<button id="btn"></button><a href="www.baidu.com" id="link">link</a><script>document.getElementById("btn").

模擬點選網頁按鈕

轉自：http://blog.csdn.net/tiantian1980/article/details/12322191 點選放大 三、程式實現　　<1> 取得 IHTMLDocument2 的介面指標。根據IE瀏覽器的執行方式，有多種不同的

[opencv]模板匹配演算法（單影象模板匹配和基於模板匹配的目標跟蹤）

1.模板匹配opencv函式 matchTemplate(InputArray image, InputArray temp, OutputArray result, int method) Parameters: image – Image where the search is runn

影象處理之基於NCC模板匹配識別

一：基本原理NCC是一種基於統計學計算兩組樣本資料相關性的演算法，其取值範圍為[-1, 1]之間，而對影象來說，每個畫素點都可以看出是RGB數值，這樣整幅影象就可以看成是一個樣本資料的集合，如果它有一個子集與另外一個樣本資料相互匹配則它的ncc值為1，表示相關性很高，如果是-

如何用SendMessage模擬某一按鈕的點選事件

今天在寫程式的時候，用到了程序間的通訊，上網查了些相關的資料，一般都是通過訊息、共享記憶體、 socket，管道(Pipe)，信箱(Mailslot)，等等。因為我程序間通訊的時候資料量不太大，所以就先測試了一下訊息。 一 般情況下，用訊息來實現程序通訊相對比較簡單，自定義

js、jq和標籤裡面設定按鈕可點選與不可點選狀態

<button id="bt1" type="button">button</button> 1、js中設定按鈕可點選與不可點選，預設是可點選的 (1)設定按鈕不可點選 document.getElementById("bt1").disabled=ture;

【js】js模擬點選a標籤，觸發href

js中的$(...).click()事件只能觸發繫結的onClick方法，不能跳轉到href。 常規情況下如果想下如果想在js裡跳轉href的連結，會先用attr獲取到href屬性的值，然後window.location.href跳轉，但是現在想利用a標籤的download屬性實現下載功能，如果

iOS開發之根據按鈕確定點選的section 和row

　　分組的tableview cell上面有按鈕，根據按鈕確定點選的是哪一組的哪一行。對於初學者來說不好判斷，那麼下面就來跟大家分享一下如何實現吧。 　　cell 方法裡面新增 　　[cell.pingjiaBtn addTarget:self action:@selector(didPingJiaBut

模擬點選，滑鼠移動，拖拽，按鍵，下拉框的處理

1.模擬點選 from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains from time import sleep driver = webdriver.Chrom

adb.【轉】模擬點選、滑動、輸入、按鍵

1、android adb 模擬點選、滑動、輸入、按鍵 - 陽光檸檬_的技術筆記 - CSDN部落格.html（https://blog.csdn.net/liukang325/article/details/79268173） 　　ZC：“模擬滑動” 2、 //模擬輸入“001” adb shell

scrapy+selenium中關於同一個頁面模擬點選後，開啟新的標籤頁，切換到新頁面的方法

windows = spider.browser.current_window_handle # 定位當前頁面控制代碼 time.sleep(5) target = spider.browser.find_element_by_id("toolber-keyword") keyword

Selenium：動態頁面模擬點選

Selenium：動態頁面模擬點選   Selenium Selenium是一個Web的自動化測試工具，最初是為網站自動化測試而開發的，型別像我們玩遊戲用的按鍵精靈，可以按指定的命令自動操作，不同是Selenium 可以直接執行在瀏覽器上，它支援所有主流的

Android模擬點選的四種方式

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

Activity中響應ListView內部按鈕的點選事件

最近交流群裡面有人問到一個問題：如何在Activity中響應ListView內部按鈕的點選事件，不要在Adapter中響應？ 對於這個問題，我最初給他的解答是，在Adapter中定義一個回撥介面，在Activity中實現該介面，從而實現對點選事件的響應。 下班後思考了一下，覺得有兩種方式都能

進行模擬點選的時候,利用python完成黑名單和白名單(判斷字串是否包含)

在做專案的時候,遇到一個需求,就是在進行模擬點選的時候,要求加上一個黑名單和白名單 意思就是: 白名單:模擬點選的時候,不能點選白名單裡面有的元素,例如:包含什麼地址,或者什麼數字和特殊的字串的時候 黑名單:就是不在黑名單裡的元素,就不能進行點選事件,然後只有在裡面的元素才能進行點選

Rxjava，ThrottleFirst防止按鈕連續點選

ThrottleFirst 允許設定一個時間間隔，在這個時間間隔內傳送第一個事件，而遮蔽其他事件，在時間間隔達到設定的時間後，傳送下一個事件 匯入依賴 def retrofit_version = "2.1.0" def rxjava_version = "2.0

Android按鈕實現點選事件的幾種方式

此方法整體看上去簡單易懂，個人比較常用 xml佈局 <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.