如何在 Sikuli 中获取图像的坐标？

Question

我的项目中有这个 GUI（请耐心等待我的插图，我不允许在工作中截屏）

----------------------------------------------
    (1)     Header                            |
----------------------------------------------|
             (2)      Files             | (3) | Drop-down button (Options)
----------------------------------------|-----|          
                                        |     |
----------------------------------------|-----|
                                        |     |
----------------------------------------|-----|
                                        |     |
-----------------------------------------------

我需要在我们的产品支持的每种文件类型中测试一个文件。 最终目标是使用 (3) 下拉按钮。 这是我在这部分时的代码摘要

find_filetype = find.imagedict(filetypeicon.png) #(2) filetype

freg = find_filetype.right()

if freg.exists(drop-down.png):                   #(3) drop-down icon
    freg.click(drop-down.png)

现在点击 (3) 后，将出现一个包含 4 个操作项的下拉菜单。 因此，例如，如果我单击 (3a)：它将出现在 (3b - 3d) 下方，显示至少 2-3 个下拉项。

----------------------------------------------
            Header                            |           
----------------------------------------------|
                                        | (3a)|
----------------------------------------------|
                                |  (a1)   |   |   #a1 = action 1
--------------------------------|---------|---|   
                                |  (a2)   |   |   #a2 = action 2
--------------------------------|---------|---|
                                |__(a3)___|   |
-----------------------------------------------

如果我点击 (3c)： 下拉菜单会选择出现在上方（f.a.d.） 显示至少 2 个下拉项。

----------------------------------------------
            Header                            |           
----------------------------------------------|
                                |  (a1)   |   |
--------------------------------|---------|---|         
                                |  (a2)   |   |
--------------------------------|_________|---|
                                        | (3c)|           
----------------------------------------|-----|
                                        |     |
----------------------------------------------

我的解决方法是：

1. 截屏所有操作项和

2. if/elifs + dragDrop()

这使我的脚本慢 （我每天执行数百次迭代）

有没有办法可以找到 (a1)（因为它在单击 (3) 后始终存在），保存它的坐标并将其用作这样的 scrolldown_codes 的参数

   #after clicking drop-down
   #find and get (action1) coordinates
   def scroll_down(coordinates):              #pass it here
       while not exist(action(n).png):        #n = action choice 
          end_Y = coordinates
          start_Y = coodinates - few_Y
          dragdrop(start_Y, end_Y)
          wait(1)
       click(action(n).png)

请帮帮我！欢迎提出任何有用的建议！

注意：我只允许在该 GUI 上单击和拖动，因为它是我们正在开发的触摸屏产品。

Answer 1

实际滚动，就像您对滚动条所做的那样，可能不是最好的解决方案，因为它需要许多额外的操作，这些操作都容易由于各种原因而失败。在这种情况下，我通常建议使用键盘来控制选择。实际上几乎没有选择，这取决于您的应用程序的行为方式。因此，我将列出一些可能在您的场景中使用的技巧，然后您决定最适合自己的技巧。

首先，请记住，您可以通过限制您正在查看的区域来加快搜索时间。有很多方法可以做到这一点。例如：

1. 分屏，如果您知道您正在寻找的图案只出现在特定区域。

2. 相对搜索/区域扩展。您可以找到相关的 (3) 项，然后将区域扩展到其右侧以捕获 (4) 选择器（3 个点）所在的区域。这将显着加快搜索速度，因为它只会查看一个小区域而不是整个屏幕，并且它将确保您单击正确的 (4) 项。有关区域扩展的更多信息和示例here。更多关于优化搜索时间的信息here。

现在到菜单中的实际项目选择。所以，正如我所提到的，我认为你最好使用键盘来选择项目。这意味着选择/单击列表中的第一项，然后按向下箭头按钮x 次，直到您到达您之后的菜单项。有几种方法可以正确点击向下箭头按钮的次数：

1. 硬编码。如果您知道特定项目在列表中排名第四，只需点击 4 次即可。

2. 按向下箭头按钮，直到找到所需的项目。这可能会慢一些，并且可能需要截取额外的屏幕截图，但如果您不知道项目的顺序或如果顺序容易改变，这可能会很有用。