BigQuery 和公共数据集似乎都没有所有的二元组

Question

总结：我要做的就是找出在哪里下载我可以在 n-gram 查看器中看到的数据，因为原始数据和 BigQuery 似乎都没有查看器那么多的结果...

因此，在我尝试下载所有二元组而不手动打开每个文件（从可用的原始数据）时，我转向 BigQuery 试图将三元组数据转换为二元组，但由于三元组的方式，我意识到构建时，有很多不包括在内的二元组。

所以我采用了老式的方法，作为测试，从 here 可用的原始数据中下载了 st 文件。这是一个巨大的文件，但由于某种原因，它不包含明显的二元组留在这里 即使 ngram 查看器有它。另一个例子是束手无策。查看器将向您显示这两个短语的图表，但我希望包含该数据的 st 文件没有。有谁知道为什么以及我可以做些什么来获取这些数据？我想如果它可以通过 n-gram 查看器获得，那么一定有某种方法可以下载它？

Answer 1

从您链接到的文档中，可供下载的 nGram 数据集是及时的快照。最新的发布于 2012 年 7 月。我相信 nGram Viewer 本身正在运行更近期的数据。

我知道在 BigQuery 的案例中，trigram 数据是 nGram 数据的旧快照，可以追溯到 BigQuery 首次启动的时间。请注意，我们的sample dataset documentation 不包括三元组数据集，部分原因是我们的快照有多旧。