在 WANG 数据库上计算准确率和召回率

Question

我在 MATLAB 中制作了一个 CBIR 系统，并使用相似度测量作为欧几里得距离。 对每个查询图像使用它，我检索前 20 个图像。

我使用WANG Dataset 测试我的系统。
它包含 10 个类别（如非洲人、巴士、玫瑰等），每个类别包含 100 张图片。（总共 1000 张图片）。

我的方法：
1. 我正在使用相关图、共现矩阵（CCM）和像素扫描模式（DBPSP）之间的差异来构建我的向量（分别为 64+196+28=288 维）。

1. 1000 db 图像中的每一个我都预先构建了它的向量。
2. 现在出现了一个查询图像，我也构建了它的向量（再次为 228 维）。
3. 我使用欧几里得距离来表示相似性，并按欧几里得距离的降序对 db 图像向量进行排序。

4. 显示前 20 个结果。

5. 在这 20 个人中，我可以有 TP 或 FP。

对于单个查询图像，我可以使用 link 轻松计算 Precision 和 Recall 并绘制 PR 曲线。

我怎样才能为全班做同样的事情？

我的方法：对于属于 A 类的每个图像，找到前 20 个图像，它们分别是 TP（真阳性）和 FP（假阳性）。

        TP   FP

Image1  17   3  
Image2  15   5  
...  
...  
Image100  10  10  
Total   1500 500  

A 类精度 =1500/(2000) = .75（对吗？？）
召回 A 类 ---> 卡住 ??
PR曲线---->卡住了？？有些链接说我需要一个分类器，有些则不需要……我真的很困惑。

Answer 1

如您所述，您可以按如下方式计算精度。

P = TP ./ ( TP + FP );

但是，您需要有 FN 或总假数才能计算召回率。作为discussed in chat，您需要找到一种方法来确定您的 FN 和 FP 数据。然后你可以使用下面的公式来计算召回率。

R = TP ./ ( TP + FN )

如果你有混淆矩阵或数据，可以使用我自定义的confusionmat2f1.m 来计算精度、召回率和f1 分数。这假设混淆矩阵的格式为Matlab defines it。每行的解释是内联的。如果您需要更多说明，请告诉我。

function [F,P,R] = confusionmat2f1( C )
    %% confusionmat2f1( C )
    %
    % Inputs
    % C - Confusion Matrix
    %
    % Outputs
    % F - F1 score column vector
    % P - Precision column vector
    % R - Recall column vector
    
    %% 
    
    % Confusion Matrix to Probability
    M = sum( C, 3 );
    
    % Calculate Precision
    P = diag(M) ./ sum(M,1)';
    
    % Calculate Recall
    R = diag(M) ./ sum(M,2);

    % Calculate F1 Score
    F = f1( P, R );