如何将.txt文件（语料库）读入pytorch中的torchtext？

Question

如何将.txt文件（语料库）读入pytorrch中的torchtext？

我只看到 data.Dataset 用于示例数据集，而 data.TabularData 用于 csv、json 和 tsv。

https://github.com/pytorch/text#data

https://torchtext.readthedocs.io/en/latest/data.html#dataset

如果我使用这样的表格数据集读取它，它仍然有效： test_file = data.TabularDataset(path=input_filepath, format='csv', fields=[('text', data.Field())])

但是我的数据集不是表格的，所以我想看看是否有更好的选择。

Answer 1

我建议编写一个快速脚本来读取您的语料库并将其转储为 JSON（有 plentyofexamplesoutthere），然后将该 JSON 与 torchtext 一起使用。您将希望对数据有某种结构，以充分利用 torchtext（想想批处理/可迭代数据集）。

如果您不知道如何遍历数据集，请查看my other answer here。