如何在非常小的数据集上进行训练？

Question

我们正试图了解 Rasa 的基本模型 - 那里的论坛仍然没有给我们答案 - 关于两个主要问题：

• 我们了解 Rasa 模型是一种基于转换器的架构。是不是 在任何数据集上进行预训练？ （例如维基百科等）

• 那么，如果我们 理解正确，意图分类是一项微调任务 在那个变压器的顶部。这么小的怎么能用 训练集？

欣赏任何见解！

谢谢

里尔

Answer 1

transformer 模型未在任何数据集上进行预训练。我们使用了相当浅的 Transformer 堆栈，它不像大型预训练语言模型中使用的更深的 Transformer 堆栈那样需要大量数据。 话虽如此，没有确切数量的数据点足以训练您的助手，因为它因域和您的问题而异。通常一个好的估计是每个意图 30-40 个示例。