将 RGB 图像与点云匹配

Question

我有一个 RGB 图像和一个由 LIDAR 获取的点云。 在 RGB 图像中，我检测到一个特征，比如说一个圆圈。 我想在我的 3d 点云中使用这个圆圈作为 ROI。 我怎样才能做到这一点？我正在考虑通过相机参数从 RGB 图像生成 3d 点云，然后将 2 与 icp 算法匹配。 问题是，在我从 2D 图像生成点云的那一刻，我的坐标系发生了变化，所以我不再知道我的圆的位置。 为了执行 3d 重建，我使用 triangulateMultiview 函数

Answer 1

我正在考虑通过相机参数从 RGB 图像生成 3d 点云，然后将 2 与 icp 算法匹配。 -> 这行不通，效率也不高。

其实还有更好的办法。假设您知道相机和激光雷达之间的外在因素，图像上的任何圆（或椭圆）都可以使用相机内在因素扩展成 3d 圆锥体，通过选择圆锥体内的点，您可以进行 ROI 操作。

假设您可以通过检测和查找椭圆方程的参数来在图像平面上定义一个椭圆。椭圆方程可以扩展为表示 3D 圆锥的二次（圆锥）方程。现在唯一剩下的就是通过放置圆锥方程来测试您的 3d 点是否在圆锥内。

如果您对相机模型或二次方程不满意，这在数学上有点复杂。