如何学习图像表示的阈值？

Question

我实现了一个基于内容的图像检索系统，它将图像编码为VLAD codes。简而言之，一幅图像是一个数千维的向量，两幅图像之间的相似度用两个对应的 VLAD 向量之间的 L2 距离来衡量。在实践中，我们返回查询代码与所有数据集代码之间的前 k 个最小距离作为结果。

现在，我正在 Oxford Building Dataset 上测试这个系统，这是一个用于测试您的 CBIR 系统的流行数据集：有 55 个查询图像，我们计算平均精度来评估您的方法。

给定一个查询图像，真阳性的集合被定义为“好”和“好”图像之间的联合。这些集合是由数据集作者手动创建的，有关更多信息，请阅读原始论文（参考上面的链接）。

因此，假设完美的 VLAD 代码，topk[0] 是数据集图像之间最相似的图像，并且它具有最小的 L2 距离 w.r.t。查询代码。 请注意，这将用于对象识别应用程序，因此给定查询图像，我们希望返回最相似的图像（而不是 top-k 值），因此计算此阈值时应考虑仅前 1 个距离。

我想做的是学习一个treshold值s.t。如果topk[0]<treshold 我们可以放心地假设这是一张相关图片。

机器学习并不是我真正的领域，但我想到的是学习这个价值：我们计算 topk[0] 的平均值，其中 topk[0] 图像是真正的正数，而我们没有考虑误报（它们会污染这个阈值）。我意识到这是一个非常幼稚的解决方案，但我没有想到更好的解决方案。

对于我的实现，我注意到top[0] 通常在1.0* 和1.3* 之间以获得良好的匹配，而通常非常“遥远”的图像具有>1.5*

Answer 1

一般来说，我建议研究一些其他方法来量化具有重要属性的图像的相似性，例如尺度不变检测、对光照变化的鲁棒性等。如果您只想要 L2 范数的阈值，有几种方法可以实现。什么价值是“最好的”很大程度上取决于你想要什么。如果你重视最小化误报，那应该是你的成本函数，如果你重视避免误报而不是你应该为此优化......你也可以尝试同时优化两者，在你的成本函数。我能想到的一种方法是：

1. 只取一半的数据集
2. 选择一个阈值（在您认为合理的范围的中间）
3. 使用此阈值对您的数据进行分类并计算误报、误报、真阳性和真阴性并评估您的质量
4. 考虑以下情况：
   • 如果结果令人满意，就暂时坚持下去
   • 如果误报过多，则将阈值设置得更严格（将更严格一侧的未探索区间减半）
   • 如果漏报过多，请降低阈值（将不太严格的未探索区间减半）
5. 重复直到您满意/达到最佳平衡。
6. 预测您未采取的一半以找到您的阈值并验证您的结果。

只有一个可以考虑的选项，但也许您会觉得它很有帮助。