实时移动 GTK+ 窗口

Question

我正在创建一个移动窗口，它使用人脸检测坐标作为输入来分配窗口的新位置。目前，人脸检测功能正常，但直到捕获循环结束时才会显示窗口。

我的问题是：
-如何在进行图像捕获和面部检测的整个过程中保持窗口处于可见状态？
-“gtk_main”循环是否必要，在这种情况下是否正确使用？
-为什么即使将“gtk_widget_show(window)”放在捕获循环中，窗口也不打开？
-有没有更好的论坛来解答更详细的 GTK+ 问题？

我想在 OpenCV 的“moveWindow”函数之后对其进行建模。此功能非常适合我的需要，使用此功能的唯一问题是我无法自定义窗口。

OpenCV 的“moveWindow”函数源代码： 查看 window.cpp 和 window_gtk.cpp https://github.com/opencv/opencv/tree/master/modules/highgui/src

#include "FlyCapture2.h"
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/objdetect/objdetect.hpp>
#include <opencv2/core/cuda.hpp>
#include <opencv2/cudalegacy/NCVHaarObjectDetection.hpp>
#include <opencv2/cudaobjdetect.hpp>
#include <math.h>
#include <thread>
#include <iostream>
#include <vector>
#include <gtk-3.0/gtk/gtk.h>

using namespace FlyCapture2;


cv::Ptr<cv::cuda::CascadeClassifier> face_detect;

int x,y;

void detect_faces(cv::Mat img, cv::cuda::GpuMat buf)
{
    std::vector<cv::Rect>faces;

    //Detect faces
    ...

    if (faces.size() > 0) 
    {
        float x_f = faces[0].x;
        float y_f = faces[0].y;
        x = roundf(x_f*40/51);
        y = roundf(y_f*135/256);    

    }

}

int main( int   argc, char *argv[])
{

    //Camera initialization
    ...

    //face detect variables
    face_detect = cv::cuda::CascadeClassifier::create("/home/nvidia/opencv/data/haarcascades_cuda/haarcascade_frontalface_default.xml");
    cv::cuda::GpuMat objbuf;

    //GTK+ Params
    GtkWidget *window;
    gtk_init (&argc, &argv);
    window = gtk_window_new (GTK_WINDOW_TOPLEVEL);
    gtk_window_set_decorated(GTK_WINDOW (window),FALSE);
    gtk_window_set_position(GTK_WINDOW (window), GTK_WIN_POS_CENTER);
    gtk_widget_show  (window);

    // capture loop
    double t = (double)cv::getTickCount();
    for (int i=0;i<100;i++)
    {
        // Get the image
        ...

        // convert to OpenCV Mat
        ...


        //Detect Faces
        detect_faces(image,objbuf);
            std::cout<<"x: "<<x<<" "<<"y: "<<y<<std::endl;
        gtk_window_move(GTK_WINDOW (window),x,y);
        while (gtk_events_pending())
            gtk_main_iteration ();

    }

    //Record Time
    t = ((double)cv::getTickCount() - t)/cv::getTickFrequency();
        std::cout << "Time: " << (t/100)*1000 << std::endl;

    //Disconnect Camera
    camera.StopCapture();
    camera.Disconnect();

    gtk_main();

    return 0;
}

Answer 1

最好的方法是将人脸识别程序和 GUI 操作分开在两个不同的线程中，GUI 应该始终在主线程中运行（或者首先创建窗口的那个，这不是严格要求的X11，但它在 Win32 和 Cocoa GTK 后端例如）。

然后识别线程可以根据需要忙循环，并使用空闲回调将窗口更新“发送”到主线程。这是多线程常用的 GTK 方法。

下面是一些解释该方法的代码（一个支持函数和一个替代捕获循环）：

/// support function
struct WindowData
{
   GtkWindow win;
   int x, y;
};

int move_window(WindowData *p)
{
    gtk_move_window(p->win, p->x, p->y);
    delete p;
    return FALSE;
}

[...]

// updated capture loop inside main (capture the variables you need, or this if you are working in a class environment
std::thread t([window, image, objectbuf]{
  for (int i=0;i<100;i++) {
      // Get the image
      ...
      // convert to OpenCV Mat
      ...

      //Detect Faces
      detect_faces(image,objbuf);
      WindowData *p = new WindowData();
      p.win = window;
      p.x = x; p.y = y;
      g_idle_add((GFunction)move_window, p);

    }
});
gtk_main();
t.join();

[...]

请注意，您还可以将“窗口”设为全局变量（或类成员）并将 x 和 y 设为 std::atomic 以避免每次窗口移动都需要分配/取消分配 WindowData。