在 Kinect 中查找颜色像素的深度值答案

【问题标题】：Finding Depth value for Color Pixels in Kinect在 Kinect 中查找颜色像素的深度值
【发布时间】：2015-06-17 06:28:12
【问题描述】：

我在 1920*1080 的彩色像素中有某些点 X、Y。我不知道如何在深度数据 512×424 中映射该特定点。我知道我需要使用坐标映射器，但不知道该怎么做。我是 Kinect 的初学者，我正在使用 C#。有人请帮助我

【问题讨论】：

只是几个点，不是所有点？

标签： c# kinect kinect-sdk

【解决方案1】：

如果要从Color frame映射到Depth frame，需要使用MapColorFrameToDepthSpace方法：

ushort[] depthData = ... // Data from the Depth Frame
DepthSpacePoint[] result = new DepthSpacePoint[512 * 424];

_sensor.CoordinateMapper.MapColorFrameToDepthSpace(depthData, result);

您需要为该方法提供 2 个参数：

完整的深度帧数据（如this）。
一个空的 DepthSpacePoints 数组。

提供这些参数后，空数组将填充正确的 DepthSpacePoint 值。

否则，拉法夫的答案就是你所需要的。

【讨论】：

您执行的映射如何显示在彩色图像中？换句话说，我怎样才能获得带有像素深度数据正确的彩色图像的完整位图？ PS您包含的链接根本没有使用映射功能！请也解决这个问题。
你可以查看这个关于从深度到颜色空间的映射的例子（你可以忽略body-index框架）：github.com/LightBuzz/Vitruvius/blob/master/Kinect%20v2/WPF/…

【解决方案2】：

以下是一个示例，我已将 CameraSpacePoint 转换为 ColorSpacePoint 并将相同的 CameraSpacePoint 转换为 DepthSpacePoint。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.Kinect;

namespace Coordinate_Mapper
{
    class Program
    {
        public static KinectSensor ks;
        public static MultiSourceFrameReader msfr;
        public static Body[] bodies;
        public static CameraSpacePoint[] cameraSpacePoints;
        public static DepthSpacePoint[] depthSpacePoints;
        public static ColorSpacePoint[] colorSpacePoints;

        static void Main(string[] args)
        {
            ks = KinectSensor.GetDefault();
            ks.Open();
            bodies = new Body[ks.BodyFrameSource.BodyCount];
            cameraSpacePoints = new CameraSpacePoint[1];
            colorSpacePoints = new ColorSpacePoint[1];
            depthSpacePoints = new DepthSpacePoint[1];

            msfr = ks.OpenMultiSourceFrameReader(FrameSourceTypes.Depth | FrameSourceTypes.Color | FrameSourceTypes.Body);
            msfr.MultiSourceFrameArrived += msfr_MultiSourceFrameArrived;

            Console.ReadKey();
        }

        static void msfr_MultiSourceFrameArrived(object sender, MultiSourceFrameArrivedEventArgs e)
        {
            if (e.FrameReference == null) return;
            MultiSourceFrame multiframe = e.FrameReference.AcquireFrame();
            if (multiframe == null) return;

            if (multiframe.BodyFrameReference != null)
            {
                using (var bf = multiframe.BodyFrameReference.AcquireFrame())
                {
                    bf.GetAndRefreshBodyData(bodies);
                    foreach (var body in bodies)
                    {
                        if (!body.IsTracked) continue;
                        // CameraSpacePoint
                        cameraSpacePoints[0] = body.Joints[0].Position;
                        Console.WriteLine("{0} {1} {2}", cameraSpacePoints[0].X, cameraSpacePoints[0].Y, cameraSpacePoints[0].Z);

                        // CameraSpacePoints => ColorSpacePoints
                        ks.CoordinateMapper.MapCameraPointsToColorSpace(cameraSpacePoints, colorSpacePoints);
                        Console.WriteLine("ColorSpacePoint : {0} {1}", colorSpacePoints[0].X, colorSpacePoints[0].Y);

                        // CameraSpacePoints => DepthSpacePoints
                        ks.CoordinateMapper.MapCameraPointsToDepthSpace(cameraSpacePoints, depthSpacePoints);
                        Console.WriteLine("DepthSpacePoint : {0} {1}", depthSpacePoints[0].X, depthSpacePoints[0].Y);
                    }
                }
            }
        }
    }
}

N:B:

我要将CameraSpacePoint、DepthSpacePoint、ColorSpacePoint 存储到数组中，因为CoordinateMapper 类中方法的参数是数组。更多信息，请查看CoordinateMapper Method Reference
此博客可能会对您有所帮助。 Understanding Kinect Coordinate Mapping

【讨论】：