在 OpenCv2 中将像素坐标转换为世界坐标答案

【问题标题】：Convert pixel coordinate into world coordinate in OpenCv2在 OpenCv2 中将像素坐标转换为世界坐标
【发布时间】：2016-08-09 08:42:02
【问题描述】：

我的程序用于对象跟踪。我可以跟踪对象并通过矩方法为对象 x,y 提供坐标。

enter image description here

我想在 OpenCV2 中将像素坐标转换为世界坐标。 我已经得到了旋转矩阵（3*3）和平移向量（3*1）相机校准，我知道相机的焦距。

现在，我定义如下。

 CvMat *rotation = (CvMat*)cvLord("Rotation.xml")
 CvMat *translation = (CvMat*)cvLord("Translation.xml")

这是我的程序的一部分。

void trackFilteredObject(Mat threshold,Mat HSV, Mat &Birds_image){

  vector <Fruit> apples;

  Mat temp;
  threshold.copyTo(temp);

  // these two vectors needed for output of findContours
  vector< vector<Point> > contours;
  vector<Vec4i> hierarchy;

  // find contours of filtered image using OpenCv findCountours function
  findContours(temp,contours,hierarchy,CV_RETR_CCOMP,CV_CHAIN_APPROX_SIMPLE );

  // use moments method to find our filtered object.
    double refArea = 0;
    bool objectFound = false;
    if (hierarchy.size() > 0) {
    int numObjects = hierarchy.size();

    // if number of objects greater than MAX_NUM_OBJECTS, we have a noisy filter.
    if(numObjects<MAX_NUM_OBJECTS){
        for (int index = 0; index >= 0; index = hierarchy[index][0]) {
            Moments moment = moments((cv::Mat)contours[index]);
            double area = moment.m00;

            if(area>MIN_OBJECT_AREA){
                Fruit apple;

                // moments method
                apple.setXPos(moment.m10/area);
                apple.setYPos(moment.m01/area); 
                apples.push_back(apple);

                objectFound = true;

             }else objectFound = false;
        }
        if(objectFound ==true){
            // draw object location on screen
            drawObject(apples,Birds_image);
        }
     }else putText(Birds_image,"TOO MUCH NOISE! ADJUST FILTER",Point(0,50),1,2,Scalar(0,0,255),2);
     }
}

而drawObject(apples,Birds_image)就是这个。

void drawObject(vector<Fruit> theFruits,Mat &frame){
  for(int i =0; i<theFruits.size(); i++){
  cv::circle(frame,cv::Point(theFruits.at(i).getXPos(),theFruits.at(i).getYPos()),10,cv::Scalar(0,0,255));
  cv::putText(frame,intToString(theFruits.at(i).getXPos())+ " , " + intToString(theFruits.at(i).getYPos()),cv::Point(theFruits.at(i).getXPos(),theFruits.at(i).getYPos()+20),1,1,Scalar(0,255,0));
  }
}

我使用这些souse文件和头文件。

Fruit.h

#pragma once
#include <string>
using namespace std;

class Fruit
{
public:
Fruit(void);
~Fruit(void);

int getXPos();
void setXPos(int x);


int getYPos();
void setYPos(int y);

private:

int xPos, yPos;
string type;

};

Fruit.cpp

#include "Fruit.h"


Fruit::Fruit(void)
{
}


Fruit::~Fruit(void)
{
}

int Fruit::getXPos(){
return Fruit::xPos;
}

void Fruit::setXPos(int x){
Fruit::xPos = x;
xPos = x;
}

int Fruit::getYPos(){
return Fruit::yPos;
}

void Fruit::setYPos(int y){
Fruit::yPos = y;
yPos = y;
}

你能不能把你的绝妙想法告诉我。

【问题讨论】：

相机标定过程估计的旋转矩阵和平移向量表示对应图像的棋盘框和相机框之间的变换。使用单个图像和任意对象，您将无法恢复 3D 坐标。如果你知道真实物体的大小，你应该能够大致估计出 3D 坐标。

标签： c++ opencv image-processing coordinates tracking

【解决方案1】：

看看opencv中的findHomography函数。它有助于找到从一个平面到另一个平面的转换，但只能找到二维坐标。
此链接提供了将坐标从图像平面转换为对象平面的类似示例。 (Camera pixels to planar world points given 4 known points)

【讨论】：