【发布时间】：2014-09-12 23:59:21
【问题描述】：
我一直在从事图像处理和机器人技术的自我项目，而不是像往常一样检测颜色并挑选对象的机器人，它试图检测板上的孔（类似于不同的多边形）。为了更好地理解设置，这里有一张图片：
如您所见，我必须检测这些孔，找出它们的形状，然后使用机器人将物体放入孔中。我正在使用 kinect 深度相机来获取深度图像。图片如下：
我一头雾水地想着如何用相机检测孔，最初使用遮罩根据深度测量去除背景部分和一些前景部分，但这并没有奏效，因为在不同的方向相机上的孔会与木板合并……有点像inranging（它完全变成白色）。然后我遇到了adaptiveThreshold函数
adaptiveThreshold(depth1,depth3,255,ADAPTIVE_THRESH_GAUSSIAN_C,THRESH_BINARY,7,-1.0);
使用腐蚀、膨胀和高斯模糊去除噪声；它以更好的方式检测到孔，如下图所示。然后我使用了 cvCanny 边缘检测器来获取边缘，但到目前为止效果并不好，如下图所示。在此之后，我尝试了 SIFT、SURF、ORB、GoodFeaturesToTrack 的各种特征检测器，发现 ORB 给出了最好的时间和检测到的特征。在此之后，我尝试通过找到查询图像的关键点并匹配这些关键点来获得查询图像的相对相机姿势，以便将良好匹配提供给findHomography 函数。结果如下图所示：
最后，我想获得两个图像之间的相对相机位姿，并使用从 solvePnP 函数获得的旋转和平移向量将机器人移动到该位置。
那么有没有其他方法可以提高我的质量 为关键点检测和匹配检测到孔？
我也尝试过轮廓检测和 approxPolyDP，但近似的形状不是很好：
我尝试调整阈值和精明函数的输入参数，但是 这是我能得到的最好的了
另外，我获得相机姿势的方法是否正确？
更新：无论我尝试什么，我都无法获得良好的可重复特征来映射。然后我在网上读到深度图像的分辨率很便宜，它只用于掩蔽和获取距离之类的东西。所以，我觉得这些功能不合适，因为低分辨率的图像边缘凌乱。所以我想到了检测 RGB 图像上的特征并使用深度图像来仅获取这些特征的距离。我得到的功能质量简直出乎意料。它甚至检测到板上的螺丝！以下是使用 GoodFeaturesToTrack 关键点检测检测到的关键点。。 我在获取距离时遇到了另一个障碍，点的距离没有正确显示。我搜索了可能的原因，过了一段时间后我发现由于相机之间的偏移，RGB 和深度图像中存在偏移。您可以从前两张图像中看到这一点。然后我在网上搜索了如何补偿这个偏移，但找不到有效的解决方案。
如果你们中的任何一个可以帮助我补偿偏移量，那就太好了！
更新：我无法充分利用 goodFeaturesToTrack 功能。该函数以 Point2f 类型给出角点。如果要计算描述符，我们需要关键点，并使用下面的代码 sn-p 将 Point2f 转换为关键点会导致尺度和旋转不变性的损失。
for( size_t i = 0; i < corners1.size(); i++ )
{
keypoints_1.push_back(KeyPoint(corners1[i], 1.f));
}
特征匹配的可怕结果如下图。
我现在必须开始进行不同的功能匹配。我会发布进一步的更新。如果有人可以帮助解决偏移问题，那将非常有帮助。
【问题讨论】：
-
这里是其余的图像hostingpics.net/viewer.php?id=764686img3.jpg（这是深度图像）。
-
这是自适应阈值图像hostingpics.net/viewer.php?id=468584adapthresh.png。这是 approxpolyDP 图片hostingpics.net/viewer.php?id=196889coo.png 任何人都可以支持我的问题，因为我需要至少 10 个声望才能发布图片。
-
为什么不尝试模板匹配，因为您已经知道机器人必须适合的孔的形状。注意：如果对象的大小发生变化，模板匹配将无法正常工作。即，如果矩形的大小在不同的板上或放大/缩小等时有所不同。
-
你可以试试this 形状检测代码
-
@Darshan：谢谢你的回复，但我想要一些既能缩放又能旋转不变的东西。你看，板子实际上是固定在一个电机上，使板子旋转。所以机器人必须跟踪移动，然后放置对象。我实际上使用的是工业机器人（Staubli RX90）。无论如何，我会查看链接。
标签： image opencv computer-vision kinect keypoint