QnA Maker 对类似问题给出不正确的结果答案

【问题标题】：QnA Maker giving incorrect results to similar questionsQnA Maker 对类似问题给出不正确的结果
【发布时间】：2020-01-09 16:55:08
【问题描述】：

我构建了一个聊天机器人，可以使用 QnA Maker 服务回答与可持续发展目标 (SDG) 相关的问题。作为其中的一部分，机器人的主要功能是回答不同的 SDGs，比如 SDG 1 是什么，SDG 2 是什么……什么是 SDG 17。

在这种问题与当前如此相似的情况下，我如何从 QnA Maker 获得准确的预测，当我提出诸如 SDG 16、15、14 之类的问题时，QnA Maker 总是返回关于什么是 SDG 1 的答案等，即使知识库有完全相同的问题

【问题讨论】：

您是否尝试过添加额外的短语以查看是否可以提高检测效率？例如，您可以尝试在整个话语之外添加“SDG 1”作为短语。不确定这是否会有所帮助，但值得一试。
感谢@billoverton 的建议。我已经试过了。它没有用。不仅是这个问题，还有许多其他类似的问题，例如 sdg 11 的议程是什么，sdg 11 的任务是什么等。对于 QnA Maker 目前预测为 sdg 1 的每个 sdg
在这种情况下，您必须通过 LUIS 来区分用户意图以使每个实体有所不同。
我可以使用 LUIS @MdFaridUddinKiron，但我认为 QnA Maker 更适合此要求，因为每个问题都映射到特定答案。
@PraneethNooli 我试过了，这对我有用。你可以按照我的方式来看看。

标签： botframework qnamaker

【解决方案1】：

我并不感到惊讶。只看这些问题的特征，如果您的 QnA 知识库经过训练能够识别“什么是 SDG 1”并且确实做到了，那么确定性很高，那么“什么是 SDG 1x”将仅仅基于匹配字符的百分比。致 QnA 制造商：

“什么是 SDG 1x”所有看起来像“什么是 SDG 1”。您需要进入您的 QnA 知识库并对其进行训练，以便“什么是 SDG 19”之类的问题具有 100% 的确定性。您可以通过查看“测试”功能的“检查”元素来检查这一点：

从我的图片中可以看出，“一”可能是对这个问题的回答，但“一”是我对“什么是可持续发展目标 1”的答案。（忽略其他答案，我在这个 KB 上做了很多测试）。如果您像这样进行检查，发现选择了错误的答案，您可以简单地选择正确的答案，然后重新训练您的知识库。

我这样做了，重复选择错误的答案，然后重新训练，直到我得到我的知识库（尽管已经有一个完美的答案），以 100% 的把握回答错误的答案（如下所示）：

你将不得不做类似的事情，但答案正确。

不仅是这个问题，还有许多其他类似的问题，例如 sdg 11 的议程是什么，sdg 11 的任务是什么等。对于 QnA Maker 目前预测为 sdg 1 的每个 sdg

一个问题 -> 一个答案是一个很好的想法，但如果所有问题看起来都一样，您将不得不多做一些工作。此外，如果您认为在与客户合作时会出现这种情况，您可以在您的机器人中编写代码以返回前 3 或 5 个答案，并让您的机器人执行后续问题，例如“我不确定我是否理解，你的意思是“1”还是“17”或“19”？”，然后让用户选择他们的意思。

【讨论】：

感谢您试用。我认为在问题很少的情况下，QnA Maker 没有任何问题，但我目前的知识库有大约 550 个问答对。当我测试什么是 SDG 16 时，我得到了 SDG 1 的答案，我什至无法在检查选项中看到 SDG 16 的正确答案。即使我尝试为该问题提供新的答案，它也会创建一个全新的问题并且没有用。
他们都是非常相似的问题吗？ “什么是 123”和“什么是 124”和“什么是 125？”因为如果是这种情况，您可能需要更完善的解决方案。
是的，它们都是相似的问题（SDG 1, SDG 2,....SDG 17）

【解决方案2】：

在调用GetAnswersAsync method 时使用QnAMakerOptions Class 中的参数“Top”解决了该问题。我将参数“Top”的值保持为 20。

如果知识库中有非常相似的问题，Azure 搜索不会在默认结果列表中返回相关的 QnA 对。如果使用参数“top”，这些结果将由最终的 QnA Maker ranker 重新排序。

【讨论】：