信息检索索引和排名模型

Question

我想不出与这个问题 (a) 匹配的结构。

我想过发布包含任何像素的确切数据的 100x100 +1 条目列表的想法，但在我看来这似乎是浪费的想法。

如果我能在接下来的问题 (b,c) 中得到一些帮助，我不明白我需要如何处理它。

Answer 1

我给出了一个你可以尝试的想法。

由于我们同时拥有图像及其标题，我的想法是从图像中提取不同类型的信息并将它们与标题一起存储为文本。当用户提交文本查询和/或图像时，我们需要将它们转换为搜索查询。排名模型意味着您需要根据相似度和一些预定义的分数（如果有）对索引文档（图像+标题）进行评分。

有了图片，我们可以做几件事：（见reference）

(1) 我们可以通过字符识别例程运行图像，以从照片中可见的标牌中提取任何单词。 （例如，阅读图片模因的文本）

(2) 我们可以识别任何著名的地标。 （我们拥有从任何角度识别它们的复杂技术）

(3) 我们可以识别名人和名人的面孔，或者，如果谈论您的私人照片在谷歌照片搜索中被索引，我们可以从其他照片中识别您的家人和朋友。即使我们没有名字，我们也可以潜在地发现熟悉的面孔并将它们组合在索引中。我们也可以识别宠物。

(4) 我们可以识别物体 - 车辆、建筑物、动物物种。

我们可以从照片及其标题中提取的潜在内容列表非常长且多种多样，但有些内容显然比其他内容提供了更高质量的术语。所有提取的特征不一定足够相关。例如，在计算相关性分数时，从字幕中提取的特征应该得到更多的重视。

同样，阅读出现在照片中的 T 恤文字几乎不如阅读街道标志和商店标志有用，因为它可以让我们轻松找出位置。

因此，当我们在寻找要放入索引的内容时，我们会建立一长串与照片相关的内容，以及一些关于我们对这些术语准确反映照片内容的信心的信息。我们可以通过确定有多少人在搜索特定术语后点击图像来调整这些分数。如果它获得了很多点击，那么提高该术语的分数可能是合理的。如果它永远不会被点击，相对于结果中它附近的其他照片，我们可以降低它。

当用户提交查询和照片时，我们必须运行我们的特征提取策略并将其转换为搜索查询。然后我们必须找出具有与查询匹配的术语的照片集。然后，我们必须根据匹配项的分数，根据相关性对这些照片进行排名。然后我们可以将结果展示给用户。

从图像中提取特征并根据提取的特征计算相关性分数并非易事。哪种类型的排名模型会给你带来好的结果很大程度上取决于提取的特征（特征意味着与图像相关的关键字）以及你的系统对与图像相关的术语的权重程度。

一旦您可以将标题和/或图像转换为文本信息，您就可以使用诸如 Okapi BM25 之类的排名函数，搜索引擎使用它来根据匹配文档与给定搜索查询的相关性对它们进行排名。