在对应的 3D 点云中匹配 2D 图像像素

Question

我想匹配校准后的 3D 激光雷达和 2D 相机数据的像素。我将使用它来训练网络。这可以被视为具有此匹配的标记数据吗？如果是，有没有人可以帮助我实现这一目标？任何建议将不胜感激。

Answer 1

在高层次上，假设您的相机和激光雷达之间有一些转换（旋转/平移），以及相机的校准矩阵，您就有了 3D 图像和它的 2D 投影。 也就是说，如果您将 3D 点云投影到相机的图像平面上，则每个(RGB)D_world == (x,y,z)_world) 点都会有一个(x,y)_camera（相机帧中的点）。

这是否有助于训练取决于您要达到的目标；如果您想找到相机的位置或校准它，给定 (RGB)D 数据和图像，使用 Perspective-n 点算法可以做得更好（激光雷达可能更容易，如果它建立了一个“真实”的世界观来进行比较）。是否将其视为标记数据，取决于您尝试如何标记它。他们都说非常相似的话。