使用多个文本文件训练斯坦福 POS 标注器

Question

我有一个大约 20000 个文本文件的语料库，我想使用这些文本文件训练标注器，最好将这些文本文件分组到一个文本文件中（我不知道这是否会影响标注准确性或不）还是将所有这些文本文件都包含在 props 文件中？

Answer 1

我认为这不重要。代码应该只加载所有数据，如果您将其拆分为多个文件，这只是为了方便。此外，您可以为不同的文件指定不同的输入格式，但这不会影响最终模型。