Azure 搜索 - 亮点 - 在图像中定位

Question

只是在这里寻找指导，甚至是关于方法的一般概述。

我正在使用 azure 搜索对一批 pdf 进行 OCR。我已经打开了点击突出显示，并且我成功地获得了结果，我正在为最终用户循环/显示在我的视图中。我正在考虑扩展该功能以显示 pdf 图像，并在图像本身上突出显示，就像在 JFK azure 示例中一样。我不擅长反应，似乎迷路了。

我假设我需要使用创建的 normalized_images 将 OCR 图像保存到数据存储以供参考？我在本地确实有可以加载的 pdf，但假设 OCR 图像可能不同。已打开 GeneratedNormalizedImagesPerPage 并打开了在我的存储帐户中创建文件的缓存。

然后我假设我需要拉出关联的图像，显​​示它，使用突出显示结果并拉出检测到短语的相应边界框？这种方法的问题在于，我看不到高光命中与命中位置（边界框）之间的任何关联，也看不到命中所在的关联图像文件。

这里的方法可能还有一段路要走，但感谢任何指导。

编辑 1 我确实注意到了 JFK 示例中此页面上的项目：https://github.com/microsoft/AzureSearch_JFK_Files/tree/master/JfkWebApiSkills/JfkWebApiSkills 尝试将 ImageStore（因此它们存储在我的存储帐户中）和 HocrGenerator（似乎处理文档中的点）复制到我的技能集以用于我的索引是方法吗？

Answer 1

这里有几个步骤：

1. 您需要将 OCR 技能中的 layoutText 保存在 UI 可以访问的位置。 JFK Files demo 将其转换为 HOCR（以显示在 UI 中）并将其作为索引中的字段保存在索引中，以便在搜索结果中检索它。 HOCR 不是必需的，您可能会发现使用 knowlege store object projection 将布局存储在 blob 中更有效。

2. 使用file projection into the knowledge store 将提取的图像保存到blob 存储中。请记住，图像可能会在此过程中调整大小，并且坐标将与保存到商店的调整大小的图像相匹配。如果您想将坐标映射到原始图像，请参阅this。

3. 在搜索时，将突出显示映射到元数据。您将在 nodejs 前端找到此代码，但在 the original demo 中遵循代码 here 可能更简单。本质上，您只需在元数据中找到突出显示的单词的第一次出现，显示相关图像，然后计算单词的边界区域。