【问题标题】:Azure Search: Is there support for conjugation in the French or any language analyzer?Azure 搜索:是否支持法语或任何语言分析器中的共轭?
【发布时间】:2017-04-13 06:20:08
【问题描述】:

我正面临法语的业务需求,即必须支持共轭。例如,如果用户搜索“Être”,那么它还应该找到动词形式的变体(语音、情绪、时态等)。

根据我所见,Azure Search fr.microsoft 分析器(或基于此构建的自定义分析器)支持它。我已通过搜索“Être”并找到包含以下内容的文档来验证这一点:est、EST、sera、sont 和 etre。

但是,它不查找具有以下内容的文档:ete, etes, Ete, Etes。

我搜索并找到了这个页面,该页面记录了 Être 的简单形式和复合形式。 http://conjugator.reverso.net/conjugation-french-verb-%C3%AAtre.html

Microsoft 法语分析器似乎并不支持所有这些。这是真的?如果是这样,那么我如何确保所有这些都得到处理?我需要添加“ete”和“etes”作为“Être”的同义词吗?如果是这样,我是否还需要添加“Ete”和“Etes”作为“Être”的同义词?

有没有办法让我获得有关 Azure 搜索中所有法语共轭支持的文档?

最后但同样重要的是,我如何更好地理解“Être”的所有变位?我尝试使用 Analyzer API...

{ "analyzer": "fr.microsoft",   "text": "Être" }

但我只收到以下回复:

{
  "@odata.context": "https://one-adscope-search-poc2.search.windows.net/$metadata#Microsoft.Azure.Search.V2016_09_01.AnalyzeResult",
  "tokens": [
    {
      "token": "etre",
      "startOffset": 0,
      "endOffset": 4,
      "position": 0
    },
    {
      "token": "être",
      "startOffset": 0,
      "endOffset": 4,
      "position": 0
    }
  ]
}

【问题讨论】:

    标签: azure search azure-cognitive-search


    【解决方案1】:

    在 Azure 搜索中,我们的语言分析器使用规范化形式来匹配单词的不同变位。例如,在索引时,Microsoft 分析器将单词“sont”分析为“etre”,并索引该单词的原始形式和规范化/词形化形式。在查询时,假设您正在使用“est”发出搜索查询。单词“est”也分析为“etre”并找到包含“sont”的文档。您共享的分析 API 的响应与此预期一致。

    很遗憾,我们没有在文档中提供详尽的变位列表。您可以使用文档样本和分析 API 的响应来生成列表。

    最后,您可以使用我们的同义词功能来填补缺失的空白。我注意到不匹配的单词(ete,etes,Ete,Etes)都分析为基本形式'ete'。您可以定义一个同义词规则,说明“etre”和“ete”是等价的。同义词功能目前为私人预览版。如果您想试用,请随时在 nateko AT microsoft 与我联系

    希望这会有所帮助。

    内特

    【讨论】:

    • 谢谢。当我们当前通过 .Net SDK 在自定义分析器中使用同义词时,为什么将同义词视为预览版,我仍然有点困惑。我们的自定义分析器使用 Microsoft.Azure.Search.Models.SynonymTokenFilter,如本页 3/4 处所述。 docs.microsoft.com/en-us/rest/api/searchservice/… 我们正在使用 API 版本 2016-09-01。
    • Nate 没关系...我发现您从 3 月份发来的一封电子邮件描述了为什么 .NET SDK 2016-09-01 同义词支持不足。您写道“SynonymTokenFilter 与某些语言标记器存在兼容性问题。SynonymMapFilter 的字典(提供同义词使用标准分析器进行解析和分析,而在您的示例中,查询是使用特定语言标记器解析/分析的。如果标记化的形式从两个分析的一个词不同,查询不会像预期的那样展开。......."
    • "..... 自定义分析中 SynonymsTokenFilter 中的多词同义词也存在问题,在新同义词功能中已正确处理。由于新功能通过扩展查询起作用,因此无需重新索引是需要的。此外,与自定义分析中的 SynonymTokenFilter 不同,更新同义词字典不会中断服务。"
    • Azure 搜索支持自定义分析中的同义词以及通过本文档 docs.microsoft.com/en-us/azure/search/search-synonyms 中描述的新同义词功能。后者更容易维护和部署,没有你提到的问题。
    • 我有一个进一步的更新,只是为了帮助其他人阅读这篇文章。 Nate 和 Janusz 向我展示了当前的同义词映射有效,但更改需要重建索引。我验证了这项工作,并期待下一个版本,我们可以在其中动态维护这些同义词映射。
    猜你喜欢
    • 2021-04-13
    • 1970-01-01
    • 2021-10-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-10-26
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多