我的 SURF/KMeans 分类器出了什么问题答案

【问题标题】：What is wrong with my SURF/KMeans classifer我的 SURF/KMeans 分类器出了什么问题
【发布时间】：2014-03-31 17:11:47
【问题描述】：

我正在尝试使用 SURF 和朴素贝叶斯创建分类器/预测器。我非常遵循 Dance, Csurka 的“Visual Categorization with Bags of Keypoints”中的技术......我使用的是 SURF 而不是 SIFT。

我的结果非常可怕，我不确定我的错误在哪里。我正在使用 CalTec 集合中的 20 个汽车样本（火腿）和 20 个摩托车样本（垃圾邮件）。我怀疑这是我创建词汇的方式。我可以看到，EMGU/OpenCV kmeans2 分类器在给定相同的 SURF 描述符输入的情况下返回不同的结果。这让我很怀疑。到目前为止，这是我的代码。

public Matrix<float> Extract<TColor, TDepth>(Image<TColor, TDepth> image)
        where TColor : struct, Emgu.CV.IColor
        where TDepth : new()
    {            
        ImageFeature[] modelDescriptors;

        using (var imgGray = image.Convert<Gray, byte>())
        {
            var modelKeyPoints = surfCPU.DetectKeyPoints(imgGray, null);
            //the surf descriptor is a size 64 vector describing the intensity pattern surrounding
            //the corresponding modelKeyPoint
            modelDescriptors = surfCPU.ComputeDescriptors(imgGray, null, modelKeyPoints);
        }

        var samples = new Matrix<float>(modelDescriptors.Length, DESCRIPTOR_COUNT);//SURF Descriptors have 64 samples
        for (int k = 0; k < modelDescriptors.Length; k++)
        {
            for (int i = 0; i < modelDescriptors[k].Descriptor.Length; i++)
            {
                samples.Data[k, i] = modelDescriptors[k].Descriptor[i];
            }

        }

        //group descriptors into clusters using K-means to form the feature vectors
        //create "vocabulary" based on square-error partitioning K-means
        var centers = new Matrix<float>(CLUSTER_COUNT, samples.Cols, 1);
        var term = new MCvTermCriteria();
        var labelVector = new Matrix<int>(modelDescriptors.Length, 1);
        var cluster = CvInvoke.cvKMeans2(samples, CLUSTER_COUNT, labelVector, term, 3, IntPtr.Zero, 0, centers, IntPtr.Zero);

        //this is the quantized feature vector as described in Dance, Csurska Bag of Keypoints (2004)
        var keyPoints = new Matrix<float>(1, CLUSTER_COUNT);

        //quantize the vector into a feature vector
        //making a histogram of the result counts
        for (int i = 0; i < labelVector.Rows; i++)
        {
            var value = labelVector.Data[i, 0];
            keyPoints.Data[0, value]++;
        }
        //normalize the histogram since it will have different amounts of points
        keyPoints = keyPoints / keyPoints.Norm;
        return keyPoints;
    }

输出被送入 NormalBayesClassifier。我就是这样训练它的。

Parallel.For(0, hamCount, i =>
            {
                using (var img = new Image<Gray, byte>(_hams[i].FullName))
                {
                    var features = _extractor.Extract(img);
                    features.CopyTo(trainingData.GetRow(i));
                    trainingClass.Data[i, 0] = 1;
                }
            });

        Parallel.For(0, spamCount, j =>
        {
            using (var img = new Image<Gray, byte>(_spams[j].FullName))
            {
                var features = img.ClassifyFeatures(_extractor);
                features.CopyTo(trainingData.GetRow(j));
                trainingClass.Data[j + hamCount, 0] = 0;
            }
        });

        using (var classifier = new NormalBayesClassifier())
        {
            if (classifier.Train(trainingData, trainingClass, null, null, false))
            {

                classifier.Save(_statModelFilePath);
            }
        }

当我使用 NormalBayesClassifier 调用 Predict 时，它会为所有训练样本返回 1（匹配）...ham 和 spam。

任何帮助将不胜感激。

编辑。另一个注意事项是，我从 5 到 500 中选择了 CLUSTER_COUNT，结果都相同。

【问题讨论】：

标签： c# opencv emgucv bayesian-networks

【解决方案1】：

问题更多的是概念性而非技术性。我不明白 K 均值集群正在为“整个”数据集构建词汇表。正确的方法是给 CvInvoke.cvKMeans2 调用一个训练矩阵，其中包含每个图像的所有特征。我每次都是根据一张图片来构建词汇表。

我的最终解决方案是将 SURF 代码提取到自己的方法中并在每个火腿和垃圾邮件图像上运行该代码。然后，我使用海量结果集构建了一个训练矩阵，并将其提供给 CvInvoke.cvKMeans2 方法。花了很长时间才完成训练。我总共有大约 3000 张图片。

我的结果更好。训练数据的预测率是 100% 准确的。我现在的问题是我可能会遭受过度拟合，因为它的预测率对于非训练数据仍然很差。我将使用 SURF 算法中的 hessian 阈值以及簇数来查看是否可以最小化过度拟合。

【讨论】：