PyAutoGUI:自動化鍵鼠操作的 Python 類庫
有些朋友可能玩過按鍵精靈,一個用來操作鍵盤鼠標完成一些自動化工作的軟件。其實如果你學了Python的話,完全用不著按鍵精靈這種東西了。因為廣泛的Python類庫里,就有PyAutoGUI這樣可以變成控制鍵盤鼠標的類庫,有了它,就可以用Python隨心所欲的操作電腦了。而且這個類庫是跨平臺的,Windows、Linux、macOS都可以用,是不是很吸引人呢?
安裝和使用
安裝PyAutoGUI非常簡單,從pip安裝即可。
- pip install pyautogui
這里順便介紹一下PyAutoGUI的坐標系統,和一些常見的繪圖坐標系統相同,左上角為原點,向右是x軸正方向,向下是y軸正方向。假如你的屏幕是1920*1080,那么右下角的坐標就是(1919, 1079),因為坐標是從0開始的,而不是從1開始的,這一點要格外注意。
PyAutoGUI雖然有很多函數,但是函數的作用基本上就是單擊/雙擊鼠標、敲擊/按下/彈起按鍵這樣的,函數參數也就是點擊間隔、點擊按鍵這樣很簡單的參數。所以我就不列例子了,總之用起來非常簡單。
函數簡介
下面來介紹一下PyAutoGUI的函數。先來看看鼠標操作函數,主要是點擊、拖動、滑動滾輪這些操作。
鍵盤操作函數,主要就是按鍵、組合鍵操作。
提示框函數,可以用來顯示警告、確認、提示和密碼輸入對話框,增強程序可操作性。顯示對話框的時候,程序會暫停,直到用戶處理對話框。
截圖函數,可以從屏幕上截圖,也可以根據已有圖片從屏幕上定位。主要用途是事先保存一些按鈕圖片,然后從屏幕上識別定位來點擊按鈕。
操作實例
首先來看看官網的一個畫圖例子,我們需要打開一個畫圖程序的窗口,然后將它放到全屏。然后運行下面的代碼,然后切換到畫圖窗口。等待3秒鐘以后就可以看到PyAutoGUI開始畫圖了。
- import pyautogui
- distance = 100
- pyautogui.moveTo(400, 300)
- while distance > 0:
- pyautogui.drag(distance, 0, duration=0.1)
- distance -= 5
- pyautogui.drag(0, distance, duration=0.1)
- pyautogui.drag(-distance, 0, duration=0.1)
- distance -= 5
- pyautogui.drag(0, -distance, duration=0.1)
結果如下。其實這個畫圖的代碼很簡單,就是一圈一圈縮小,然后調用drag函數拖住畫筆不放。
再來看一個圖片識別的例子,這個例子需要先安裝OpenCV庫和opencv-python包。安裝之后就可以運行下面的例子了。這個例子保存了windows 10計算機的幾個按鈕截圖,然后通過圖形識別的方式找到并點擊按鈕執行操作。注意下面用到了confidence參數,即使圖片沒有完全匹配也可以識別到。
- import pyautogui
- import time
- time.sleep(3)
- # Windows計算器的按鈕截圖
- five = '5.png'
- eight = '8.png'
- multiply = 'multiply.png'
- equals = 'equals.png'
- # 圖片識別和點擊的函數
- def find_and_click(image):
- x, y = pyautogui.locateCenterOnScreen(image, confidence=0.9)
- pyautogui.click(x, y)
- # 執行5*8=
- find_and_click(five)
- find_and_click(multiply)
- find_and_click(eight)
- find_and_click(equals)
代碼以及圖片的完整例子可以查看我的github,地址如下。
- https://github.com/techstay/python-study/tree/master/pyautogui-sample
通過PyAutoGUI,你可以輕松的對圖形界面進行自動化編程,按照屏幕位置或者圖片識別來定位控件的位置,然后通過編程來控制鼠標和鍵盤輸入。這和按鍵精靈的道理是一樣的。但是Python可以利用廣泛的第三方包來實現更多的功能,這一點是按鍵精靈無法相比的。