当我们在 OpenCV 中有深度和 rgb Mat 时如何显示 3D 图像（从 Kinect 捕获）

Question

我们使用带有 OpenNI 库的 Kinect 捕获 3d 图像，并使用此代码以 OpenCV Mat 的形式获取 rgb 和深度图像。

    main()
{
    OpenNI::initialize();
    puts( "Kinect initialization..." );
    Device device;
    if ( device.open( openni::ANY_DEVICE ) != 0 )
    {
        puts( "Kinect not found !" ); 
        return -1;
    }
    puts( "Kinect opened" );
    VideoStream depth, color;
    color.create( device, SENSOR_COLOR );
    color.start();
    puts( "Camera ok" );
    depth.create( device, SENSOR_DEPTH );
    depth.start();
    puts( "Depth sensor ok" );
    VideoMode paramvideo;
    paramvideo.setResolution( 640, 480 );
    paramvideo.setFps( 30 );
    paramvideo.setPixelFormat( PIXEL_FORMAT_DEPTH_100_UM );
    depth.setVideoMode( paramvideo );
    paramvideo.setPixelFormat( PIXEL_FORMAT_RGB888 );
    color.setVideoMode( paramvideo );
    puts( "Réglages des flux vidéos ok" );

    // If the depth/color synchronisation is not necessary, start is faster :
    //device.setDepthColorSyncEnabled( false );

    // Otherwise, the streams can be synchronized with a reception in the order of our choice :
    device.setDepthColorSyncEnabled( true );
    device.setImageRegistrationMode( openni::IMAGE_REGISTRATION_DEPTH_TO_COLOR );

    VideoStream** stream = new VideoStream*[2];
    stream[0] = &depth;
    stream[1] = &color;
    puts( "Kinect initialization completed" );


    if ( device.getSensorInfo( SENSOR_DEPTH ) != NULL )
    {
        VideoFrameRef depthFrame, colorFrame;
        cv::Mat colorcv( cv::Size( 640, 480 ), CV_8UC3, NULL );
        cv::Mat depthcv( cv::Size( 640, 480 ), CV_16UC1, NULL );
        cv::namedWindow( "RGB", CV_WINDOW_AUTOSIZE );
        cv::namedWindow( "Depth", CV_WINDOW_AUTOSIZE );

        int changedIndex;
        while( device.isValid() )
        {
            OpenNI::waitForAnyStream( stream, 2, &changedIndex );
            switch ( changedIndex )
            {
                case 0:
                    depth.readFrame( &depthFrame );

                    if ( depthFrame.isValid() )
                    {
                        depthcv.data = (uchar*) depthFrame.getData();
                        cv::imshow( "Depth", depthcv );
                    }
                    break;

                case 1:
                    color.readFrame( &colorFrame );

                    if ( colorFrame.isValid() )
                    {
                        colorcv.data = (uchar*) colorFrame.getData();
                        cv::cvtColor( colorcv, colorcv, CV_BGR2RGB );
                        cv::imshow( "RGB", colorcv );
                    }
                    break;

                default:
                    puts( "Error retrieving a stream" );
            }
            cv::waitKey( 1 );
        }

        cv::destroyWindow( "RGB" );
        cv::destroyWindow( "Depth" );
    }
    depth.stop();
    depth.destroy();
    color.stop();
    color.destroy();
    device.close();
    OpenNI::shutdown();
}

我们在上面添加了一些代码并从中获得了 RGB 和深度 Mat，然后我们使用 OpenCV 处理了 RGB。

现在我们需要以 3D 形式显示该图像。

我们正在使用：-

1) Windows 8 x64

2) Visual Studio 2012 x64

3) OpenCV 2.4.10

4) OpenNI 2.2.0.33

5) Kinect1

6) Kinect SDK 1.8.0

问题：-

1) 我们可以使用 OpenCV 直接显示此图像吗？或者我们需要任何外部库吗？？

2) 如果我们需要使用外部库，对于这个简单的任务，OpenGL、PCL 还是其他任何一个更好？？

3) PCL 是否支持 Visual Studio 12 和 OpenNI2，并且由于 PCL 包含其他版本的 OpenNI，这两个版本是否冲突？？

Answer 1

为了提高南极人的回答， 要以 3D 显示图像，您需要先创建点云... RGB 和深度图像为您提供创建有组织的彩色点云所需的数据。为此，您需要计算每个点的 x、y、z 值。 z 值来自深度像素，但 x 和 y 必须计算。

要做到这一点，你可以这样做：

void Viewer::get_pcl(cv::Mat& color_mat, cv::Mat& depth_mat, pcl::PointCloud<pcl::PointXYZRGBA>& cloud ){
    float x,y,z;

    for (int j = 0; j< depth_mat.rows; j ++){
        for(int i = 0; i < depth_mat.cols; i++){
            // the RGB data is created
            PCD_BGRA   pcd_BGRA;
                       pcd_BGRA.B  = color_mat.at<cv::Vec3b>(j,i)[0];
                       pcd_BGRA.R  = color_mat.at<cv::Vec3b>(j,i)[2];
                       pcd_BGRA.G  = color_mat.at<cv::Vec3b>(j,i)[1];
                       pcd_BGRA.A  = 0;

            pcl::PointXYZRGBA vertex;
            int depth_value = (int) depth_mat.at<unsigned short>(j,i);
            // find the world coordinates
            openni::CoordinateConverter::convertDepthToWorld(depth, i, j, (openni::DepthPixel) depth_mat.at<unsigned short>(j,i), &x, &y,&z );

            // the point is created with depth and color data
            if ( limitx_min <= i && limitx_max >=i && limity_min <= j && limity_max >= j && depth_value != 0 && depth_value <= limitz_max && depth_value >= limitz_min){
                vertex.x   = (float) x;
                vertex.y   = (float) y;
                vertex.z   = (float) depth_value;
            } else {
                // if the data is outside the boundaries
                vertex.x   = bad_point;
                vertex.y   = bad_point;
                vertex.z   = bad_point;
            }
            vertex.rgb = pcd_BGRA.RGB_float;

            // the point is pushed back in the cloud
            cloud.points.push_back( vertex );
        }
    }
}

PCD_BGRA 是

union PCD_BGRA
{
    struct
    {
        uchar B; // LSB
        uchar G; // ---
        uchar R; // MSB
        uchar A; //
    };
    float RGB_float;
    uint  RGB_uint;
};

当然，这是针对您要使用 PCL 的情况，但它或多或少是 x,y,z 值的计算所代表的。这依赖于openni::CoordinateConverter::convertDepthToWorld 来找到点在 3D 中的位置。您也可以手动执行此操作

 const float invfocalLength = 1.f / 525.f;
 const float centerX = 319.5f;
 const float centerY = 239.5f;
 const float factor = 1.f / 1000.f;

 float dist = factor * (float)(*depthdata);
 p.x = (x-centerX) * dist * invfocalLength;
 p.y = (y-centerY) * dist * invfocalLength;
 p.z = dist;

其中 centerX、centerY 和焦距是相机的内在校准（这个是用于 Kinect 的）。以及如果您需要以米或毫米为单位的距离的因素......这个值取决于您的程序

问题：

1. 是的，您可以使用最新的 OpenCV 和 viz class 或其他适合您需要的外部库来显示它。
2. OpenGl 很好，但如果您不知道如何使用 PCL（或 OpenCV）（我的意思是用于显示点云），则更易于使用它们
3. 我没在windows上用过，但理论上可以用在visual studio 2012上。据我所知PCL自带的版本是OpenNI 1，不会影响OpenNI2...

Answer 2

我还没有用 OpenNI 和 OpenCV 做过这件事，但我希望能帮到你。所以首先回答你的前两个问题：

1. 可能是的，据我了解，您希望可视化 3D 点云。 OpenCV 只是一个图像处理库，你需要一个 3D 渲染库来做你想做的事情。
2. 我曾使用过 OpenSceneGraph，我会推荐它。不过，您也可以使用 OpenGL 或 Direct X。

如果您只想可视化点云，例如 Kinect Studio 的“3D 视图”，则不需要 PCL，因为它对于这项简单的工作来说太多了。

执行此任务的基本思想是创建 3D 四边形，使其与图像上的像素数相同。例如，如果您的分辨率为 640x480，则需要 640*480 四边形。每个四边形将具有相应像素的颜色，具体取决于彩色图像中的像素值。然后，您将根据深度图像中的值在 Z 轴上来回移动这些四边形。这可以使用现代 OpenGL 来完成，或者如果您对 C++、OpenSceneGraph（同样基于 OpenGL）感觉更舒服。

你必须注意两件事：

1. 即使在现代计算机上绘制如此多的四边形也会很慢。您需要阅读“实例化渲染”以在单个 GPU 绘图调用中渲染大量对象实例（在我们的示例中为四边形）。这可以使用顶点着色器来完成。
2. 由于 Kinect 的 RGB 和深度摄像头具有不同的物理位置，因此您需要对它们进行校准。官方 Kinect SDK 中提供了执行此操作的功能，但我不了解 OpenNI。

如果您决定使用 OpenGL 执行此操作，如果您不熟悉 GPU 管道，我建议您阅读它。这将帮助您在使用顶点着色器时节省大量时间。