OpenCV + OpenGL + Qt

Question

我正在设计自己的增强现实应用程序。 我已经检测到我正在使用的模式的 4 个角。在以正确的顺序检测到 4 个角后，我将它们传递给 cvFindExtrinsicCameraParams2。 对于对象相对于相机框架的旋转和平移，我得到了很好的结果。 现在我必须将这些信息（旋转向量和平移向量）放入 OpenGL 中来绘制一些东西。自然，我使用 cvRodrigues2 从旋转向量中获取旋转矩阵。 除此之外，我以这种方式使用 QGlWidget 观看相机：

GLWidget.h

#ifndef _GLWIDGET_H
#define _GLWIDGET_H

#include <QtOpenGL/QGLWidget>
#include <cv.h>
#include <cxcore.h>

class GLWidget : public QGLWidget {

    Q_OBJECT // must include this if you use Qt signals/slots

public:
    GLWidget(QWidget *parent = NULL);
    IplImage *img;
    void setImage(IplImage *imagen);
protected:
    void initializeGL();
    void resizeGL(int w, int h);
    void paintGL();
};

#endif  /* _GLWIDGET_H */

GLWidget.cpp

#include <QtGui/QMouseEvent>
#include "GLWidget.h"

GLWidget::GLWidget(QWidget *parent) : QGLWidget(parent) {
    this->img = 0;
}

void GLWidget::initializeGL() {
    glDisable(GL_TEXTURE_2D);
    glDisable(GL_DEPTH_TEST);
    glDisable(GL_COLOR_MATERIAL);
    glEnable(GL_BLEND);
    glEnable(GL_POLYGON_SMOOTH);
    glBlendFunc(GL_SRC_ALPHA, GL_ONE_MINUS_SRC_ALPHA);
    glClearColor(0, 0, 0, 0);
}

void GLWidget::resizeGL(int w, int h) {
    glViewport(0, 0, w, h);
    glMatrixMode(GL_PROJECTION);
    glLoadIdentity();
    gluOrtho2D(0, w, 0, h); // set origin to bottom left corner
//    gluPerspective(52.0f, 1.3333f, 0.1f, 100.0f);
    glMatrixMode(GL_MODELVIEW);
    glLoadIdentity();

}

void GLWidget::paintGL() {

    if(this->img)
    {
        glClear (GL_COLOR_BUFFER_BIT);
        glClearColor(0.0,0.0,0.0,1.0);
        glMatrixMode(GL_PROJECTION);
        glPushMatrix();
        glLoadIdentity();
        gluOrtho2D(0.0,img->width, 0.0, img->width);
        glMatrixMode(GL_MODELVIEW);
        glPushMatrix();
        glLoadIdentity();
        glDrawPixels(img->width,img->height,GL_RGB,GL_UNSIGNED_BYTE,img->imageData);
        glMatrixMode(GL_PROJECTION);
        glPopMatrix();
        glMatrixMode(GL_MODELVIEW);
        glPopMatrix();
    }
}
void GLWidget::setImage(IplImage *imagen)
{
    this->img = imagen;
    this->updateGL();
}

好的，所以，作为 MainWindow 的构造函数中的附加说明，我有类似的内容：

windowGL = new GLWidget();
windowGL.setParent(this);

为了将 GL 窗口放在 MainWindow 中。我还在 GLViewer.h 中创建了一个新变量，名为：

double modelViewMatrix[16] = {0.0};

所以，为了显示 3D 对象，我在 GLViewer 中创建了一个方法，如下所示：

void GlViewer::setModelView(double cameraMatrix[]){
    for(int i=0;i<16;i++){
    this->modelViewMatrix[i] = cameraMatrix[i];
    }
    this->updateGL();
}

在那之后，我在用 glDrawPixels() 绘制图像之后，显然是在弹出矩阵之后，将类似这样的东西放入 GLViewer::paintGL() 方法中：

    glMatrixMode(GL_MODELVIEW);
    glLoadMatrixd(this->modelViewMatrix);
    glPushMatrix();
    glColor3f(1,0,0);

    glPushAttrib(GL_COLOR_BUFFER_BIT | GL_POLYGON_BIT | GL_ENABLE_BIT) ;
    glDisable(GL_LIGHTING) ;
    glPolygonMode(GL_FRONT_AND_BACK, GL_LINE) ;
    glLineWidth(3);

    glBegin(GL_LINES) ;
            glColor3f(1,0,0) ;
            glVertex3f(0,0,0) ;
            glVertex3f(100,0,0);

            glColor3f(0,1,0) ;
            glVertex3f(0,0,0) ;
            glVertex3f(0,100,0);

            glColor3f(0,0,1) ;
            glVertex3f(0,0,0) ;
            glVertex3f(0,0,100);
    glEnd() ;

    glLineWidth(1) ;
    glPopAttrib() ;
    glMatrixMode(GL_MODELVIEW);
    glPopMatrix();

所以，对于 modelViewMatrix，我考虑到我必须按列而不是行排序，或者转置，无论你想要什么...... 所以，很自然，作为最后一步，我在将相机内部和外部转换为数组后调用创建的函数 GLWidget::setModelView：

windowGL.setModelView(convertedFromIntrExtr);

但是我什么也没看到...我尝试了一个代码，并且可以绘制轴但没有投影矩阵...但是，当我使用 glutPerspective() 时（显然是在 glMatrixMode(GL_PROJECTION) 之后）我只是什么都看不到......所以，我不知道是否有人在不使用 ARToolkit 的情况下在 Qt 中具有增强现实的工作代码，因为正如我所说，我正在为我自己获取外部相机参数...所以，如果有人有一个工作代码，您可以在其中获取外部相机参数并将它们转换为 openGL 投影和模型视图矩阵......嗯，这将非常有帮助......这是因为我找到了这个例子：

http://old.uvr.gist.ac.kr/wlee/web/techReports/ar/Camera%20Models.html

我按照所有步骤在 2 个相机型号之间实现了转换，但没有成功... 如果有人有工作代码，我将不胜感激......谢谢！！！

Answer 1

我曾在 The Artvertiser 上使用 CV 进行自我姿势估计，而这些东西可以让你大吃一惊。

首先，您需要弄清楚为什么您什么都看不到。这可能是由于多种原因，最有可能是相机观察方向的反转（惯用手混淆），因此几何图形实际上位于 OpenGL 空间中的相机“后面”。但我会尝试的第一个调试方法是：

• 通过在 x 和 z 维度上以 0.1f 的步长从 -1 循环到 1 来绘制地面网格，绘制 glLines 以定义 y 平面的一部分（假设 y=up/down 的右手坐标系：x 是正确的，y 向上，z 指向屏幕外的你）（这样你就可以感受到世界的规模和你的相机矩阵给你的方向）
• 相机“后面”的几何体（抓住按键来前后移动相机，然后稍微移动一下，看看是否能找到几何体）
• 几何比例太大/太小（在设置相机后立即使用 glScalef 捕捉按键以调整全局比例）
• 剪裁平面外的几何图形（调整剪裁平面）

另外：这看起来有点可疑：this->modelViewMatrix[i] = cameraMatrix[i];您是否尝试过先反转 cameraMatrix？