在单个图像中重复筛选关键点答案

【问题标题】：duplicate sift keypoints in a single image在单个图像中重复筛选关键点
【发布时间】：2012-06-05 09:49:23
【问题描述】：

我正在使用 opencv2.3.1 来检测图像中的 SIFT 关键点。但是我发现在检测结果中，有重复的点。即，有两个关键点具有相同的坐标（以像素为单位），但它们对应的描述符非常不同。以下代码显示了 SIFT 提取过程。我认为人们应该熟悉使用过的“box.png”。所以有兴趣的朋友可以试试下面的代码，看看有没有跟我一样的问题。

#include "opencv2/highgui/highgui.hpp"
#include "opencv2/features2d/features2d.hpp"
#include <iostream>
int main( )
{
cv::Ptr<cv::FeatureDetector> detector = cv::FeatureDetector::create( "SIFT" );
cv::Ptr<cv::DescriptorExtractor> extractor = cv::DescriptorExtractor::create("SIFT" );
cv::Mat im = cv::imread("box.png", CV_LOAD_IMAGE_COLOR );
std::vector<cv::KeyPoint> keypoints;
cv::Mat descriptors;
detector->detect( im, keypoints);
extractor->compute( im,keypoints,descriptors);
int duplicateNum = 0;
for (int i=0;i<keypoints.size();i++)
{
    for (int j=i+1;j<keypoints.size();j++)
    {
        float dist = abs((keypoints[i].pt.x-keypoints[j].pt.x))+abs((keypoints[i].pt.y-keypoints[j].pt.y));
        if (dist == 0)
        {
            cv::Mat descriptorDiff = descriptors.row(i)-descriptors.row(j);
            double diffNorm = cv::norm(descriptorDiff);
            std::cout<<"keypoint "<<i<<" equal to keypoint "<<j<<" descriptor distance "<<diffNorm<<std::endl;
            duplicateNum++;
        }
    }
}
std::cout<<"Total keypoint: "<<keypoints.size()<<", duplicateNum: "<<duplicateNum<<std::endl;

return 1;

}

【问题讨论】：

标签： opencv duplicates sift

【解决方案1】：

希望能帮助您理解原因。

计算关键点周围所有像素的大小和方向。然后，为此创建一个直方图。在这个直方图中，360 度的方向被分成 36 个 bin（每个 10 度）。假设某个点（在“方向收集区域”中）的梯度方向是 18.759 度，那么它将进入 10-19 度的 bin。添加到 bin 中的“数量”与该点的梯度大小成正比。对关键点周围的所有像素都完成此操作后，直方图将在某个点出现峰值。

假设，您看到直方图的峰值位于 20-29 度。因此，关键点被分配方向 3（第三个 bin）

此外，任何高于最高峰 80% 的峰都将转换为新的关键点。这个新的关键点具有与原始关键点相同的位置和比例。但它的方向与另一个峰相同。

因此，方向可以将一个关键点拆分为多个关键点。

关于 SIFT 的重要参考：http://aishack.in/tutorials/sift-scale-invariant-feature-transform-introduction/

【讨论】：

是的，这是真的；但这不是错的吗？或者说它不会导致在连续图像/帧中找到匹配的任何问题？
@farzin 是的。为了提高SIFT点的鲁棒性，作者添加了这个。
为什么当重复点指向同一个地方时，它应该算作鲁棒性？
@farzinparsa 如您所见，在计算描述符时使用关键点的方向，以保持旋转不变性。因为用于生成关键点方向的方法相对粗糙，所以复制点（更准确地说，在同一位置保留更多点）可以缓解问题，因为您有更多点并且有更多机会获得正确匹配而不会因旋转而丢失关键点.

【解决方案2】：

我在 .NET 中实现 SIFT 时遇到了同样的问题：

相同的关键点但不同的描述符如下所示：

【讨论】：

这背后的理由是什么？
@vancexu：正如你所说，“有更多机会获得正确匹配，而不会因旋转而丢失关键点”。这很好，但是当涉及到帧之间的匹配时，可能会产生误导。例如，在某些匹配算法中，我们至少需要 5 个点。如果我们有（比如说）2 个重复点会发生什么？恐怕它可能对这种匹配算法有利

【解决方案3】：

是的，这是真的 - SIFT 描述符的 openCV 实现会为某些关键点生成多个描述符，它们的方向不同（SIFT 描述符估计关键点的主要方向）

【讨论】：