OpenCV 冲浪和异常值检测答案

【问题标题】：OpenCV Surf and Outliers detectionOpenCV 冲浪和异常值检测
【发布时间】：2023-03-15 11:20:01
【问题描述】：

我知道这里已经有几个相同主题的问题，但我找不到任何帮助。

所以我想比较 2 个图像以了解它们的相似程度，我使用众所周知的 find_obj.cpp 演示来提取 surf 描述符，然后我使用 flannFindPairs 进行匹配。

但正如您所知，这种方法不会丢弃异常值，我想知道真正匹配的数量，以便弄清楚这两个图像的相似程度。

我已经看到了这个问题：Detecting outliers in SURF or SIFT algorithm with OpenCV 那里的人建议使用 findFundamentalMat 但是一旦你得到了基本矩阵，我怎样才能从那个矩阵中得到异常值/真阳性的数量？谢谢你。

【问题讨论】：

标签： opencv surf outliers

【解决方案1】：

这是来自 OpenCV 的 descriptor_extractor_matcher.cpp 示例的 sn-p：

if( !isWarpPerspective && ransacReprojThreshold >= 0 )
    {
        cout << "< Computing homography (RANSAC)..." << endl;
        vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
        vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
        H12 = findHomography( Mat(points1), Mat(points2), CV_RANSAC, ransacReprojThreshold );
        cout << ">" << endl;
    }

    Mat drawImg;
    if( !H12.empty() ) // filter outliers
    {
        vector<char> matchesMask( filteredMatches.size(), 0 );
        vector<Point2f> points1; KeyPoint::convert(keypoints1, points1, queryIdxs);
        vector<Point2f> points2; KeyPoint::convert(keypoints2, points2, trainIdxs);
        Mat points1t; perspectiveTransform(Mat(points1), points1t, H12);

        double maxInlierDist = ransacReprojThreshold < 0 ? 3 : ransacReprojThreshold;
        for( size_t i1 = 0; i1 < points1.size(); i1++ )
        {
            if( norm(points2[i1] - points1t.at<Point2f>((int)i1,0)) <= maxInlierDist ) // inlier
                matchesMask[i1] = 1;
        }
        // draw inliers
        drawMatches( img1, keypoints1, img2, keypoints2, filteredMatches, drawImg, CV_RGB(0, 255, 0), CV_RGB(0, 0, 255), matchesMask
#if DRAW_RICH_KEYPOINTS_MODE
                     , DrawMatchesFlags::DRAW_RICH_KEYPOINTS
#endif
                   );

#if DRAW_OUTLIERS_MODE
        // draw outliers
        for( size_t i1 = 0; i1 < matchesMask.size(); i1++ )
            matchesMask[i1] = !matchesMask[i1];
        drawMatches( img1, keypoints1, img2, keypoints2, filteredMatches, drawImg, CV_RGB(0, 0, 255), CV_RGB(255, 0, 0), matchesMask,
                     DrawMatchesFlags::DRAW_OVER_OUTIMG | DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );
#endif
    }
    else
        drawMatches( img1, keypoints1, img2, keypoints2, filteredMatches, drawImg );

过滤的关键行在这里执行：

if( norm(points2[i1] - points1t.at<Point2f>((int)i1,0)) <= maxInlierDist ) // inlier
                matchesMask[i1] = 1;

测量点之间的 L2 范数距离（如果未指定，则为 3 个像素，或用户定义的像素重投影误差）。

希望有帮助！

【讨论】：

谢谢你的回答...我不能直接在 find_obj.cpp 中使用这段代码，因为它是用 C 编码的，而这个 sn-p 是 C++。但是我已经在 SURFFlannMatcher.cpp 演示中尝试过它并没有真正给出好的结果。例如，如果我得到两张相同物体、相同场景的图片，也就是说几乎相同的图片但分辨率不同，那么 findHomography 函数会只找到异常值而没有找到内点值……这很奇怪。

【解决方案2】：

您可以使用名为“ptpairs”的向量的大小来确定图片的相似程度。这个向量包含匹配的关键点，所以他的 size/2 是匹配的数量。我认为您可以使用 ptpairs 的大小除以关键点的总数来设置适当的阈值。这可能会让您估计它们之间的相似性。

【讨论】：