使用 Kinect 进行 3D 对象跟踪检测

Question

我正在使用 Kinect 传感器识别对象，以便获取对象的 x、y、z 坐标。

我正在尝试查找相关信息，但找不到太多。我也看过视频，但没有人分享信息或任何示例代码？ 这就是我想要达到的https://www.youtube.com/watch?v=nw3yix3XomY

可能很少有人会问同样的问题，但由于我是 Kinect 和这些库的新手，因此我需要更多指导。

我在某处读到使用 Kinect v1 无法进行对象检测。我们需要使用第三方库，例如开放式 CV 或点云 (pcl)。

有人可以帮助我，即使使用第三方库，我如何才能通过 Kinect 传感器准确识别对象？

这真的很有帮助。

谢谢。

Answer 1

正如您在评论中所说的链接视频的作者，遵循this PCL 教程将对您有所帮助。正如您已经发现的那样，使用独立 SDK 可能无法实现这一点。依靠 PCL 将帮助您避免重新发明轮子。

这里的想法是：

1. 对云进行下采样，以便在接下来的步骤中处理更少的数据（这也减少了一点噪音）。
2. 识别关键点/特征（即在某些变换中保持不变的点、区域、纹理）。
3. 计算关键点描述符，这些特征的数学表示。
4. 对于每个场景关键点描述符，在模型关键点描述符云中找到最近邻，并将其添加到对应向量中。
5. 对关键点进行聚类并检测场景中的模型。

教程中的软件需要用户手动输入模型和场景文件。它不会像您链接的视频那样在实时提要中执行此操作。

这个过程应该非常相似。我不确定检测的 CPU 密集程度如何，因此可能需要额外的性能调整。

完成逐帧检测后，您就可以开始考虑跨帧实际跟踪对象了。但这是另一个话题。