我如何获取opencv中显示的图像坐标答案

【问题标题】：how do i get coordinates of image shown in opencv我如何获取opencv中显示的图像坐标
【发布时间】：2019-01-07 22:46:24
【问题描述】：

对不起，标题没有意义

我正在尝试制作一个点击球使其弹跳的 AI。对于上下文这里是应用程序的图片

在游戏中，当您点击球时，它会上升，然后又下降，游戏的目的是保持它向上。

我写了一些代码，用opencv将图像变成掩码，这是结果的图片

我现在需要做的是在像素/坐标中找到球的位置，这样我就可以让鼠标移动到它并单击它。顺便说一下，球的左右两边都有边距，所以它不仅会上下移动，也会左右移动。球也没有动画，只是一个移动的图像。

我如何以像素/坐标获得球的位置，以便我可以将鼠标移动到它。

这是我的代码的副本：

import numpy as np
from PIL import ImageGrab
import cv2
import time
import pyautogui


def draw_lines(img,lines):
    for line in lines:
        coords = line[0]
        cv2.line(img, (coords[0], coords[1]), (coords[2], coords[3]), [255,255,255], 3)

def process_img(original_image):
    processed_img = cv2.cvtColor(original_image, cv2.COLOR_BGR2GRAY)
    processed_img = cv2.Canny(processed_img, threshold1=200, threshold2=300)
    vertices = np.array([[0,0],[0,800],[850,800],[850,0]
                         ], np.int32)
    processed_img = roi(processed_img, [vertices])

    # more info: http://docs.opencv.org/3.0-beta/doc/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html
    #                          edges       rho   theta   thresh         # min length, max gap:        
    lines = cv2.HoughLinesP(processed_img, 1, np.pi/180, 180,      20,         15)
    draw_lines(processed_img,lines)
    return processed_img

def roi(img, vertices):
    #blank mask:
    mask = np.zeros_like(img)
    # fill the mask
    cv2.fillPoly(mask, vertices, 255)
    # now only show the area that is the mask
    masked = cv2.bitwise_and(img, mask)
    return masked
def main():
    last_time = time.time()
    while(True):
        screen =  np.array(ImageGrab.grab(bbox=(0,40, 800, 850)))
        new_screen = process_img(screen)
        print('Loop took {} seconds'.format(time.time()-last_time))
        last_time = time.time()
        cv2.imshow('window', new_screen)
        #cv2.imshow('window2', cv2.cvtColor(screen, cv2.COLOR_BGR2RGB))
        if cv2.waitKey(25) & 0xFF == ord('q'):
            cv2.destroyAllWindows()
            break

def mouse_movement():
    ##Set to move relative to where ball is
    pyautogui.moveTo(300,400)
    pyautogui.click();
main()

抱歉，如果这令人困惑，但 brain.exe 已停止工作 :( 谢谢

【问题讨论】：

当你点击球时它是动画的还是只是一个从左到右向上移动的图像？
不仅仅是动态图像
如果问题得到解答，您可以将其标记为已解决。

标签： python opencv image-processing pygame artificial-intelligence

【解决方案1】：

当您删除它并发现您在定位球时遇到性能问题时，我正在处理您的其他相关问题。由于您的球似乎位于漂亮、简单的白色背景上（除了得分和右上角的 close 按钮），因此可以更轻松/更快地找到球。

首先，在灰度下工作，这样您就只有 1 个通道，而不是 3 个 RGB 通道来处理 - 这通常更快。

然后，用白色像素覆盖右上角的得分和菜单，这样图像中就只剩下球了。现在反转图像，使所有白色变为黑色，然后您可以使用findNonZero() 找到任何不是背景的东西，即球。

现在找到 y 方向上的最低和最高坐标，并将它们平均为球的中心，同样在 x 方向上为另一种方式。

#!/usr/bin/env python3

# Load image - work in greyscale as 1/3 as many pixels
im = cv2.imread('ball.png',cv2.IMREAD_GRAYSCALE)

# Overwrite "Current Best" with white - these numbers will vary depending on what you capture
im[134:400,447:714] = 255

# Overwrite menu and "Close" button at top-right with white - these numbers will vary depending on what you capture
im[3:107,1494:1726] = 255

# Negate image so whites become black
im=255-im

# Find anything not black, i.e. the ball
nz = cv2.findNonZero(im)

# Find top, bottom, left and right edge of ball
a = nz[:,0,0].min()
b = nz[:,0,0].max()
c = nz[:,0,1].min()
d = nz[:,0,1].max()
print('a:{}, b:{}, c:{}, d:{}'.format(a,b,c,d))

# Average top and bottom edges, left and right edges, to give centre
c0 = (a+b)/2
c1 = (c+d)/2
print('Ball centre: {},{}'.format(c0,c1))

这给了：

a:442, b:688, c:1063, d:1304
Ball centre: 565.0,1183.5

如果我在节目中画一个红框：

在我的 Mac 上处理需要 845 微秒，或不到一毫秒，相当于每秒 1,183 帧。显然你有时间抓住屏幕，但我无法控制。

请注意，您还可以在每个方向上将图像的大小缩小 4 倍（或者可能是 8 或 16 倍），但仍然可以确保找到球，这样可能会更快。

关键词：Ball、track、tracking、locating、finding、position of、image、image processing、python、OpenCV、numpy、bounding box、bbox。

【讨论】：

【解决方案2】：

你可以这样做：

1。从屏幕截图中裁剪出球的图像，等等。喜欢

img = cv2.imread("screenshot.jpg")
crop_img = img[y:y+h, x:x+w] # you will have to look for the parameters by trial and error

2。使用template matching 来查看球在图像中的位置

3。获取生成的矩形中间的点并将鼠标移动到那里

我希望这会有所帮助，如果您需要更多关于如何实现这些方面的帮助，请随时询问

【讨论】：