为什么 Watson NLC 对训练（1024 个字符）和生产（2048 个字符）有不同的大小限制？答案

【问题标题】：Why are there different size limitations in Watson NLC for training (1024 chars) and for production (2048 chars)?为什么 Watson NLC 对训练（1024 个字符）和生产（2048 个字符）有不同的大小限制？
【发布时间】：2019-04-28 07:18:34
【问题描述】：

IBM Watson Natural Language Classifier (NLC) 将训练集中的文本值限制为 1024 个字符： https://console.bluemix.net/docs/services/natural-language-classifier/using-your-data.html#training-limits.

但是，经过训练的模型可以对长度最多为 2048 个字符的每个文本进行分类： https://console.bluemix.net/apidocs/natural-language-classifier#classify-a-phrase.

这种差异给我带来了一些困惑：我一直都知道我们应该对训练阶段和生产阶段应用相同的预处理，因此如果我必须将训练数据限制在 1024 个字符，我也会这样做也在生产中。

我的推理是否正确？我应该将生产中的文本限制在 1024 个字符（我认为我应该）还是 2048 个字符（可能是因为 1024 个字符太少）？

提前谢谢你！

【问题讨论】：

标签： ibm-watson nl-classifier

【解决方案1】：

最近，我有同样的问题，一篇文章中的一个答案澄清了同样的问题

目前，限制设置为 1024 用于训练 和 2048 用于测试/分类。 1024 限制可能需要一些管理训练前的训练数据。大多数需要的组织他们的数据更大的字符限制最终会分块他们的输入文本分成 1024 个块。此外，在具有类似数据的用例中 Airbnb评论，主要类别通常可以评估在前 2048 个字符内，因为通常有很多噪音在冗长的评论中。

这是文章的link

【讨论】：

@Rosa 在此处发布您的问题。将尽力回答最好的知识
谢谢！此链接显示了 2 个场景，但没有一个能澄清我的疑问。如果 2048 个字符足以检索相关信息但 1024 个字符不是，我最终会得到一个在不相关文本上训练的分类器，因此在测试期间使用 2048 个字符会返回糟糕的性能，因为训练期间 1024 个字符的限制。如果 2048/1024 个字符还不够，我确实可以将原始输入文本分块成更小的组，但将所有结果类合并到一个最终类中并非易事。你怎么看？
在此处阅读最佳实践演示文稿 - 最后一张幻灯片讨论了分解大型数据集，然后在其上使用 NLC 这是演示文稿的链接ibm.com/watson/assets-watson/pdf/…
嗨，谢谢，现在1024个字符不够的情况很清楚了：我们需要应用一些业务规则或元分类器，可以将句子级别的结果汇总为一个最终结果.但是，如果 1024 个字符已经足以训练一个好的分类器，我仍然想知道我是否应该在生产中使用 1024 或 2048 的剪切：因为我在最多 1024 个字符的文本上训练模型，我不应该剪切也在1024生产？还是给 Watson 尽可能多的信息，然后在 2048 年剪掉更好？
我会说坚持使用 2048 进行测试/分类（生产）