使用 Python 检测 Virtualbox Guest 中的更改并单击它

Question

如果我们有一个运行 Android 的 Virtualbox 来宾，Python（可能通过 vboxapi 或类似的库）是否有可能

1. 检测何时出现包含特定文本的按钮
2. 然后点击这个按钮？

使用.Console.Mouse.putMouseEventAbsolute(100,100,0,0,1) 在特定屏幕坐标can be done 上单击，但我们如何检测Virtualbox 访客显示的变化？

Answer 1

您可以使用takeScreenShot() 或takeScreenShotToArray() 不时截取屏幕截图，并使用 pytesseract 在屏幕截图中检查某些特定文本，或者如果您知道某个位置按钮将出现。然后你可以得到这个变化发生的位置，并根据这个变化移动指针并单击。