在matlab中处理来自kinect的原始数据

Question

我在 MATLAB 中使用 Microsoft kinect v1，并希望获取以米为单位的每个像素的深度数据。

我不确定如何获取该数据，因为我正在获取 uint16，据我所知，它仅提供 13 位的深度，那么我如何获取这 13 位并进行一些转换以准确获取深度以米为单位。

我已经搜索了很多关于它但无法得出任何结论。

    Kinectinfo = imaqhwinfo('kinect');
    colorinfo = Kinectinfo.DeviceInfo(1);
    depthinfo = Kinectinfo.DeviceInfo(2);
    colorvid = videoinput('kinect',1);
    depthvid = videoinput('kinect',2);
    srcDepth = getselectedsource(depthvid);

    % Set the frames per trigger for both devices to 1.

    colorvid.FramesPerTrigger = 1;
    depthvid.FramesPerTrigger = 1;

    % Set the trigger repeat for both devices to 200, in order to acquire 201 frames from both the color sensor and the depth sensor.

    colorvid.TriggerRepeat = 200;
    depthvid.TriggerRepeat = 200;
    %Configure the camera for manual triggering for both sensors.

    triggerconfig([colorvid depthvid],'manual');
    % Start both video objects.

    start([colorvid depthvid]);

    %Trigger the devices, then get the acquired data.

    % Trigger 200 times to get the frames.

    for i = 1:200
        % Trigger both objects.
        trigger([colorvid depthvid])
        % Get the acquired frames and metadata.
        [imgColor, ts_color, metaData_Color] = getdata(colorvid);
        [imgDepth, ts_depth, metaData_Depth] = getdata(depthvid);
    end

[NYU Depth and RGB image][1]
[Histogram of swaped Raw Depth image][2]
[Histogram of Raw Depth Image][3]

我想要一些用于转换的代码或任何在 matlab 中为我提供仪表的 SDK。

非常感谢。

Answer 1

1. 根据几篇文章，例如。例如here和here，前三位是设备已识别的玩家的代码，但只有在启用骨骼跟踪时才会激活。 如果您不启用骨骼跟踪，则这三位设置为零。

1. 如果您使用的是 matlab，深度图像是 16 位双图像，并且包含已经从 13 位提取的数据（很可能是因为已经禁用了骨架跟踪，因此 3 MSB 为零。）因此您不要需要在 matlab 或 libfreenect 等中转换/提取 13 位数据，因为这些位已经为零。

2. 根据Matlab help page，matlab ImAq工具箱需要安装Kinect for Windows Runtime；因为它使用 Kinect SDK Kinect 驱动程序来获取数据。根据SO answer，“使用 Microsoft SDK，因此从 kinect 传感器返回的值已经是以毫米为单位的真实距离。”

因此，您实际上并不需要在 matlab 中对数据进行移位。您需要这样做的唯一原因是，如果您从 C++/C# 中的 kinect 驱动程序 (?) 获取原始深度流，并且 16 位数据将包括 3 个 LSB 位。