使用大于 RAM 的数据集训练 Spacy 模型

Question

我要求this question 更好地了解使用序列化到磁盘的DocBins 训练Spacy 模型与通过自定义数据加载功能加载Example 实例之间的一些细微差别。目标是训练一个 Spacy NER 模型，其中包含更多可以放入 RAM 的数据（或至少以某种方式避免将整个文件加载到 RAM 中）。尽管自定义数据加载器似乎是完成此任务的一种特定方式，但我写这个问题是为了更笼统地问：

如何在训练期间不加载整个训练数据集文件的情况下训练 Spacy 模型？

Answer 1

您唯一的选择是使用自定义数据加载器或设置max_epochs = -1。见the docs。