用于测试文本处理功能的样本数据或语料库？

Question

我想知道是否有可用于测试算法的在线示例文本。例如，我正在创建一个简单的标记化函数，并希望确保它适用于特殊情况，如中间词标点符号（“don't”、“O'Brien”）、破折号（出于我的目的，“Sacksville -Bagginses" 应该是单个标记)、国际字符等。

类似地，如果您可以创建其他算法以获得适合测试它们的文档，那将是很好的选择，而不必在 Gutenberg 中创建或搜索好的示例文本。

可用于测试拼写和语法工具等的文本也很有用。

Answer 1

在这个Wikipedia 条目中列出了一堆文本语料库。此外，NLTK corpora list 中有一些很好的提示。您可能想查看Google ngram datasets。