使用 C#，如何在 Web 上的 TinEye.com 等 Windows 文件系统中搜索图像？

Question

您好，感谢您的关注！

更新

为了清楚起见，第三方 .NET 库就可以了。最好是开源或免费的。解决方案不必是本机 .NET。

背景

我正在开发一个企业 Web 应用程序，客户端为我们提供了数千页 MS Word 文档中的内容，我们必须对其进行解析、提取数据并发送到内容数据库。

在这些文档中包含各种嵌入图像，它们代表单独文件夹中较大的原始图像。

客户端并没有提供任何原始源图片的路径，所以当我们在MS Word doc中看到嵌入图片的内容时，我们必须通过几个“assets”文件夹寻找对应的图片，这是非常特别的耗时。

我们已经在使用DocX 来解析文档，因此您可以假设我们有一个位图图像列表来循环遍历我们从文档中提取的。

问题

给定我们刚刚从文档中提取的位图列表，我们如何在包含数百张图像的不同文件夹中搜索匹配图像，然后将文件路径返回给它？

TinEye.com 通过网络执行此操作。我想知道是否可以使用 System.Drawing 或其他东西在带有 C# 的 PC 上完成。

谢谢！

马特

Answer 1

.NET 框架中没有用于生成图像相似度的内置算法。您需要使用第三方库或自己做。很多关于 SO 的图像相似性算法问题：

Algorithm for finding similar images

How can I measure the similarity between two images?

comparing images programmatically - lib or class

还有一个，对于 .NET：Are there any OK image recognition libraries for .NET?。这个给你推荐AForge，里面好像有你想要的算法。

Answer 2

根据this SO answer 的类似问题，您应该查看 OpenCV 和 VLFeat。前者有 C++ API，后者有 C API，因此您需要编写自己的 P/Invoke 包装器，或者可能将它们包装在 C++/CLI 外观中，您可以从 C# 调用。

Answer 3

不想为我自己的问题提出答案，但我想我可能会在这里做一些事情。以下是 C# 表单应用程序的启发式/伪代码 - 感谢您的想法：

第 1 部分

1. 使用 System.IO，遍历“assets”文件夹并获取所有图像。
2. 对于每个图像，Base64 对其进行编码。
3. 将生成的字符串放入 XML 文件中：

<Image>
     <Path>C:\SomePath</Path>
     <EncodedString>[Some Base64 String]<Encoded String>
</Image>

现在我们有了一个 XML 文件，其中包含所有 原始 图像，采用 Base64 格式，以及它们的文件路径。

第 2 部分

1. 使用DocX，从 MS Word Doc 中提取所有图像。
2. 对于每个图像，使用 Linq-to-Xml 在第 1 部分的 XML 文件中搜索完全匹配。
3. 如果没有完全匹配，开始迭代 XML 文件并计算 Levenshtein distance。
4. 在 foreach 中，将 XML 节点 ID（或文件路径）和 Levenshtein Distance 作为键值对存储在对象中。
5. 获取 LD 分数最低的 k/v 对并返回文件路径。
6. 为了提高性能，请设置容差，以便在某个原始图像与从文档中提取的图像相比具有可接受的低 LD 分数时，foreach 停止。

由于这是一次性任务，我不需要即时性能。所以，我今晚可以在离开办公室之前运行它，并希望明天回来查看将原始图像连接到文档中嵌入图像的路径列表。

更新

上面的启发式方法效果很好！我最终使用Sift library 来有效地计算 Base64 字符串之间的距离。具体来说，我使用了他们的 FastDistance() 方法。即使拍摄照片的角度略有不同，也能 100% 准确地找到我需要的图像。