NLC 或 R&R 的再训练方法答案

【问题标题】：Re-training Approach for NLC or R&RNLC 或 R&R 的再训练方法
【发布时间】：2016-05-09 03:31:25
【问题描述】：

我们知道的基本事实用于重新训练 NLC 或 R&R。

ground truth 是问题级别的训练数据。

例如

“今天有多热？，温度”

问题“今天有多热？”因此被归类为“温度”类。

应用程序启动后，将收到真实的用户问题。有些是相同的（即来自真实用户的问题与基本事实中的问题相同），有些是相似的术语，有些是新问题。假设应用程序有一个反馈循环来了解类（对于 NLC）或答案（对于 R&R）是否相关。

About the new questions, the approach seems to just add the them to the ground truth, which is then used to re-train the NLC/R&R?
For the questions with similar terms, do we just add them like the new questions, or do we just ignore them, given that similar terms can also be scored well even similar terms are not used to train the classifier?
In the case of the same questions, there seems nothing to do on the ground truth for NLC, however, to the R&R, are we just increase or decrease 1 for the relevance label in the ground truth?

简而言之，这里的主要问题是关于 NLC 和 R&R 的再培训方法是什么......

【问题讨论】：

标签： ibm-watson nl-classifier retrieve-and-rank

【解决方案1】：

一旦您的应用程序上线，您应该定期查看您的反馈日志以寻找改进的机会。对于 NLC，如果有文本被错误分类，那么您可以将这些文本添加到训练集中并重新训练以改进您的分类器。

只要您的分类器返回可接受的响应，就不必捕获类的每个可以想象的变化。

您可以使用日志中的其他类示例来组装训练集中没有的文本测试集。进行更改时运行此测试集将使您能够确定更改是否无意中导致了回归。您可以通过使用 REST 客户端调用分类器或通过 Beta 自然语言分类器工具包来运行此测试。

【讨论】：

【解决方案2】：

一个可靠的再培训方法应该是从现场用户那里获得反馈。您对任何经过再培训的 NLC（或 R&R）的测试和验证应遵循 James Ravenscroft 在此处 (https://brainsteam.co.uk/2016/03/29/cognitive-quality-assurance-an-introduction/) 概述的一些原则。

@davidgeorgeuk 的The answer 是正确的，但未能将想法扩展到您正在寻找的结论。我将有一组每月的活动，我将在其中查看应用程序日志，其中真实用户表明您没有正确分类事物，并将任何新类合并到您的分类器中。我将使用新数据重新训练第二个 NLC 实例，并完成上述测试场景。

一旦您对模型的改进感到满意，我将切换代码以指向新的 NLC 实例，而旧的 NLC 实例将成为您的“备份”实例，并且您将使用该实例下个月锻炼。它只是应用一种简单的 DevOps 方法来管理您的 NLC 实例。如果需要，您可以将其扩展到开发、QA、生产场景。

【讨论】：