如何使用pywinauto模拟游戏中的按键

Question

一年来我一直在尝试各种事情。我是python的初学者。在 Project Euler 中完成了前两个问题。

我尝试了几种方法来尝试模拟我玩的游戏中的按键。我可以使用自动热键和宏键盘/鼠标轻松做到这一点。但是，我想通过 Python 或 C 来完成。

我的猜测是win32 api在视频游戏中被忽略了，我需要通过Direct X模拟按键。

提前谢谢你。这是我最近的尝试……失败了。

每次运行新的游戏实例时，我都必须抓住/更改手柄。

我的模拟键可以在浏览器和记事本中使用，但不能在游戏中使用。不工作，我的意思是没有用户输入。

以下代码将切换到窗口，但不会模拟用户的输入。

import pywinauto
import time
from pywinauto import application
app = application.Application()
app.connect_(handle = 0x14002a)
dialogs = app.windows_(handle = 0x14002a)
dlg = app.top_window_()
time.sleep(1)
app.MapleStory.TypeKeys("%A")
time.sleep(1)
app.MapleStory.TypeKeys("%A")
time.sleep(1)
app.MapleStory.TypeKeys("%A")
time.sleep(1)
app.MapleStory.TypeKeys("%A")
time.sleep(1)
app.MapleStory.TypeKeys("%A")
time.sleep(1)
app.MapleStory.TypeKeys("%A")

Answer 1

过去的自己，我们经历了一段漫长的旅程。虽然我们有很多东西要学，但我们发现：

如果游戏在 DirectX 上运行，发送虚拟键将被忽略。 改用 sendinput 并发送 scan_codes。

# http://www.gamespp.com/directx/directInputKeyboardScanCodes.html

import ctypes
import time

SendInput = ctypes.windll.user32.SendInput

W = 0x11
A = 0x1E
S = 0x1F
D = 0x20
Z = 0x2C
UP = 0xC8
DOWN = 0xD0
LEFT = 0xCB
RIGHT = 0xCD
ENTER = 0x1C 

# C struct redefinitions 
PUL = ctypes.POINTER(ctypes.c_ulong)
class KeyBdInput(ctypes.Structure):
    _fields_ = [("wVk", ctypes.c_ushort),
                ("wScan", ctypes.c_ushort),
                ("dwFlags", ctypes.c_ulong),
                ("time", ctypes.c_ulong),
                ("dwExtraInfo", PUL)]

class HardwareInput(ctypes.Structure):
    _fields_ = [("uMsg", ctypes.c_ulong),
                ("wParamL", ctypes.c_short),
                ("wParamH", ctypes.c_ushort)]

class MouseInput(ctypes.Structure):
    _fields_ = [("dx", ctypes.c_long),
                ("dy", ctypes.c_long),
                ("mouseData", ctypes.c_ulong),
                ("dwFlags", ctypes.c_ulong),
                ("time",ctypes.c_ulong),
                ("dwExtraInfo", PUL)]

class Input_I(ctypes.Union):
    _fields_ = [("ki", KeyBdInput),
                 ("mi", MouseInput),
                 ("hi", HardwareInput)]

class Input(ctypes.Structure):
    _fields_ = [("type", ctypes.c_ulong),
                ("ii", Input_I)]

# Actuals Functions

def pressKey(hexKeyCode):
    extra = ctypes.c_ulong(0)
    ii_ = Input_I()
    ii_.ki = KeyBdInput( 0, hexKeyCode, 0x0008, 0, ctypes.pointer(extra) )
    x = Input( ctypes.c_ulong(1), ii_ )
    ctypes.windll.user32.SendInput(1, ctypes.pointer(x), ctypes.sizeof(x))

def releaseKey(hexKeyCode):
    extra = ctypes.c_ulong(0)
    ii_ = Input_I()
    ii_.ki = KeyBdInput( 0, hexKeyCode, 0x0008 | 0x0002, 0, 
ctypes.pointer(extra) )
    x = Input( ctypes.c_ulong(1), ii_ )
    ctypes.windll.user32.SendInput(1, ctypes.pointer(x), ctypes.sizeof(x))

if __name__ == '__main__':
    pressKey(0x11)
    time.sleep(1)
    releaseKey(0x11)
    time.sleep(1)

来源： Simulate Python keypresses for controlling a game http://www.gamespp.com/directx/directInputKeyboardScanCodes.html

感谢 Sentdex 提供有关机器学习的精彩教程。 我一直想对一些我最喜欢的游戏执行此操作，但无法获得按键（由于 DirectX）。

下一步： 用于模拟按键的 Windows 驱动程序工具包...

Answer 2

我不知道这是否为时已晚，但是对于某些游戏，您可以通过使用扫描码而不是使用 SendInput 的虚拟键来模拟鼠标/键盘事件

然而，具体到冒险岛，它不会同时响应虚拟键和扫描码。

据我所知，在这个游戏中模拟键盘事件的唯一可能方法是使用内核驱动程序。一个例子是使用 WinIo 直接写入 i8042 和 i8048 控制器。 8042 上的命令 0xD2 专门用于模拟硬件级输入。但是，WinIo 将硬件端口直接暴露给用户空间程序，从而打开了一个很大的安全漏洞，所以我不能说我推荐它。