pywinauto 简单使用

pywinauto是一组实现windows GUI窗口自动化的python模块。使用pywinauto可以方便的给窗口发送鼠标、键盘事件，使用python程序控制程序窗口。主要是针对CS程序自动化应用。必须是GUI程序。

参考: https://github.com/pywinauto/pywinauto https://www.cnblogs.com/steveni/p/15362833.html

1. 官网解释

大概意思就是程序有两种backend，win32 (默认是这个)和 uia，针对不同的backend 有不同的窗体检测工具。

Spy++ （定位元素工具（win32））
Inspect（定位元素工具（uia））
UI Spy （定位元素工具）
Swapy（可简单生成pywinauto代码）

下面例子用 spy++ ,一个小型的压缩包，解压后就可以使用。

2. 简单使用

可以简单理解，如果要想操作，肯定是需要启动一个程序、或者连接到一个已经存在的APP，然后获取其相关窗口、对话框等控件元素进行操作

0. spy++ 简单使用

spy++ 可以用于定位一些app的相关的class、title 等信息，也可以定位内部的窗口：

(1).找到如下按钮

(2)拖到对应app的窗口会提示相关的句柄、title、class 等信息，比如拖到记事本显示信息如下：

1. 启动和定位APP以及查看包含哪些组件

import pywinauto
from pywinauto.application import Application

# 获取一个APP的方法
# 第一个是启动, start(默认超时是5s)
app = Application().start('notepad.exe')
dlg = app.window(title='无标题 - 记事本')
print(dlg.__class__)
dlg.print_control_identifiers()

print('======')
# 第二个是获取, 根据title 获取。 从所有应用程序直接获取
app1 = pywinauto.Desktop()
dlg1 = app1['无标题 - 记事本']
print(dlg1.__class__)
dlg1.print_control_identifiers()

结果：


Control Identifiers:

Notepad - '无标题 - 记事本'    (L48, T259, R1345, B807)
['Notepad', '无标题 - 记事本Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L56, T310, R1337, B777)
   | ['Edit', '无标题 - 记事本Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L56, T777, R1337, B799)
   | ['StatusBar', '无标题 - 记事本StatusBar', 'StatusBar   第 1 行，第 1 列', 'StatusBar   Windows (CRLF)', 'StatusBar100%']
   | child_window(class_name="msctls_statusbar32")
======

Control Identifiers:

Notepad - '无标题 - 记事本'    (L48, T259, R1345, B807)
['Notepad', '无标题 - 记事本Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L56, T310, R1337, B777)
   | ['Edit', '无标题 - 记事本Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L56, T777, R1337, B799)
   | ['StatusBar', '无标题 - 记事本StatusBar', 'StatusBar   第 1 行，第 1 列', 'StatusBar   Windows (CRLF)', 'StatusBar100%']
   | child_window(class_name="msctls_statusbar32")

也可以根据processId 、句柄、class_name 、title等获取，当然可以组合

# 获取一个APP的方法
# 根据进程ID获取
# app = Application().connect(process=22972)
# 根据句柄获取，句柄可以用spy++ 点击后查看到
# app = Application().connect(handle=0x0051082A)
# 根据class_name 获取，属性值可以用spy++ 获取
from pywinauto import Application

app = Application().connect(class_name='Notepad')
dlg = app.window().print_control_identifiers()

结果：

Control Identifiers:

Notepad - '无标题 - 记事本'    (L-32000, T-32000, R-31840, B-31972)
['Notepad', '无标题 - 记事本Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L-32000, T-32000, R-30719, B-31533)
   | ['Edit', '无标题 - 记事本Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L-32000, T-31533, R-30719, B-31511)
   | ['StatusBar   Windows (CRLF)', 'StatusBar100%', 'StatusBar   第 1 行，第 1 列', '无标题 - 记事本StatusBar', 'StatusBar']
   | child_window(class_name="msctls_statusbar32")

2. 遍历打印该窗口所有的菜单

from pywinauto import Application

'''
通过 menu().items() 可以获取当前级次下的菜单项，再通过 sub_menu() 判断是有下级菜单项，不断的递归，把所有的菜单项打印出来
'''


def list_menu(menu_item, space):
    '''
     作用：递归法遍历菜单
    '''
    for i in menu_item.items():
        if (len(i.text()) > 0):
            print(space + i.text())
        if (i.sub_menu() != None):
            list_menu(i.sub_menu(), "    " + space)


app = Application().connect(class_name='Notepad')
dlg = app.window()

list_menu(dlg.menu(), "")

结果:

Control Identifiers:

Notepad - '无标题 - 记事本'    (L-8, T-8, R1928, B1048)
['Notepad', '无标题 - 记事本', '无标题 - 记事本Notepad']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L0, T43, R1920, B1018)
   | ['Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L0, T1018, R1920, B1040)
   | ['StatusBar   Windows (CRLF)', '无标题 - 记事本StatusBar', 'StatusBar100%', 'StatusBar   第 1 行，第 1 列', 'StatusBar']
   | child_window(class_name="msctls_statusbar32")
文件(&F)
    新建(&N)	Ctrl+N
    打开(&O)...	Ctrl+O
    保存(&S)	Ctrl+S
    另存为(&A)...
    页面设置(&U)...
    打印(&P)...	Ctrl+P
    退出(&X)
编辑(&E)
    撤消(&U)	Ctrl+Z
    剪切(&T)	Ctrl+X
    复制(&C)	Ctrl+C
    粘贴(&P)	Ctrl+V
    删除(&L)	Del
    &使用 Bing 搜索...	Ctrl+E
    查找(&F)...	Ctrl+F
    查找下一个(&N)	F3
    替换(&R)...	Ctrl+H
    转到(&G)...	Ctrl+G
    全选(&A)	Ctrl+A
    时间/日期(&D)	F5
格式(&O)
    自动换行(&W)
    字体(&F)...
查看(&V)
    缩放(&Z)
        &放大	Ctrl+Plus
        &缩小	Ctrl+Minus
        &恢复默认缩放	Ctrl+0
    状态栏(&S)
帮助(&H)
    查看帮助(&H)
    关于记事本(&A)

4. 找子窗口

from pywinauto import Application

app = Application().connect(class_name='Notepad')
dlg = app.window()
print(dlg)

# 找子窗口
dlg2 = dlg.child_window(class_name='Edit')
print(dlg2)
print(dlg.Edit)
print(dlg['Edit'])

如果找不到元素或者找到多个元素，直接调用方法会报错，解决办法就是自己通过下标指定index(可以结合下面draw_outline 划线来定位元素)

saveasAppWindow.child_window(class_name='ToolbarWindow32', found_index=3).click()

5. 对找到的元素打标记

from pywinauto import Application

app = Application().connect(class_name='Notepad')
dlg = app.window()
print(dlg)

# 找子窗口
dlg2 = dlg.child_window(class_name='Edit')
dlg2.draw_outline(colour = 'red')

结果：会用红线标记找到的元素

3. 键盘和点击事件

如下例子，打开记事本，输入一些字符串然后另存为E:/1.txt

'''
1. 打开记事本
2. 在编辑区域输入pywinauto Works!
3. 点击菜单栏的 文件->另存为

4. 在另存为窗口输入路径: E:\\
5. 名称输入 1.txt
6. 点击确定按钮
'''
from pywinauto import Application
from pywinauto.keyboard import send_keys

'''
在记事本窗口操作
'''
# 打开记事本
app = Application().start('notepad.exe')
dlg = app.window(title='无标题 - 记事本')

# 找到编辑区域输入内容
dlg.child_window(class_name='Edit').type_keys("pywinauto Works!", with_spaces=True)

# 选择菜单, 文件->另存为
dlg.menu_select("文件(&F)->另存为(&A)")

'''
在另存为窗口操作
'''
# 输入的对话框输入路径和文件名称然后点击确定
# 选择文件(pywinauto自动选择)
saveasApp = Application().connect(title='另存为')
saveasAppWindow = saveasApp.window(found_index=0)
# 选择文件上传的窗口
# 1. 上面路径选择窗口: 点击 -》 输入路径 -》 回车
# 选择文件地址输入框，点击
saveasAppWindow.child_window(class_name='ToolbarWindow32', found_index=3).click()
# 键盘输入上传文件的路径
send_keys("E:\\")
# 键盘输入回车，打开该路径
send_keys("{VK_RETURN}")
# 2. 名称按钮输入名称
saveasAppWindow['Edit'].type_keys("1.txt")
# 3. 保存按钮点击
saveasAppWindow.child_window(title='保存(&S)').click()

结果和期望的一样会自动进行一系列操作。

pyautogui 简单使用

感觉这个更加方便，这个不依赖于平台，就是类似于手动去操作鼠标键盘。进行一系列的事件。

1. 安装

pip install pyautogui

2. 简单使用

import time

import pyautogui

time.sleep(1)

# 获取窗口大小
# x1, y1 = pyautogui.size()
# print(x1, y1)
# 结果是鼠标当前位置，可以想象成以屏幕左上角为原点的第一象限
# x, y = pyautogui.position()
# print(x, y)
# 判断像素是否在屏幕上
# result = pyautogui.onScreen(100000, 1)
# print(result)

# 鼠标函数
# 鼠标移动到(x,y)，整个过程持续1s
# pyautogui.moveTo(500, 500, 1)

#  相当于按下左键拖动到x, y
# pyautogui.dragTo(500, 500, 1)
# 鼠标左键点击(x,y)
# pyautogui.click(24, 38)
# pyautogui.rightClick(770, 380)
# 中击
# pyautogui.middleClick(770, 380)
# 双击
# pyautogui.doubleClick(770, 380)
# 三击
# pyautogui.tripleClick(770, 380)
# 鼠标在(x,y)滚动
# pyautogui.scroll(770, 380)
# 鼠标按下, 可以指定鼠标按键。同理mouseUp为鼠标松开
# pyautogui.mouseDown(24, 38, button='left')
# pyautogui.mouseDown(770, 380, button='right')

# 键盘函数
# 输入"hello"
# pyautogui.typewrite("hello")
# 依次输入"a","b","c"
# pyautogui.typewrite(['a','b','c'])
# 按键ctrl+c
# pyautogui.hotkey('ctrl', 'a')
# pyautogui.hotkey('ctrl', 'c')
# pyautogui.hotkey('ctrl', 'v')
# pyautogui.hotkey('ctrl', 'v')
# 按下键盘
# pyautogui.keyDown('a')
# pyautogui.keyUp('a')
# pyautogui.keyDown('b')
# pyautogui.keyUp('b')

# 提示框相关，类似JS的三种框
# alert, confirm, prompt, password
alert = pyautogui.alert('stop')
print(alert)
va1 = pyautogui.confirm('stop')
print(va1)
prompt = pyautogui.prompt('stop')
print(prompt)
password = pyautogui.password('stop')
print(password)

# 屏幕截图
# region参数，截图区域，由左上角坐标、宽度、高度4个值确定，如果指定区域超出了屏幕范围，超出部分会被黑色填充，默认`None`，截全屏
# pyautogui.screenshot('E:/shot{}.png'.format(1), region=(0, 0, x1, y1))

这里需要注意。selenium 获取到的元素是相对于浏览器左上角为坐标，高度等信息不包含菜单栏。结合使用需要注意菜单栏的高度。

【python 工具】pywinauto自动化、pyautogui-操作windows

pywinauto 简单使用

1. 官网解释

2. 简单使用

0. spy++ 简单使用

1. 启动和定位APP以及查看包含哪些组件

2. 遍历打印该窗口所有的菜单

4. 找子窗口

5. 对找到的元素打标记

3. 键盘和点击事件

pyautogui 简单使用

1. 安装

2. 简单使用

相关推荐

使用VSCode模板提高Vue开发效率（vscode开发vue3）

吃透 Vue 项目开发实践|16个方面深入前端工程化开发技巧【下】

说下你的vue项目的目录结构，该怎么划分?

8.7k star，一款超炫酷的动态可视化大屏项目

这么牛逼的cursor功能，赶紧用起来

用上Vue3，你真的变了吗?（vue3 key）

移动前端重构实战系列:5-7章（前端移动端主要技术有哪些）

browser-use:AI 驱动的浏览器自动化神器——DOM识别与交互详解

巧克力:从一朵花开始的华丽变身_巧克力花束教程视频

comfyui安装MimicMotion扩展，AI跳舞动作模仿