从亚马逊下载数据集

Question

我想知道是否可以下载公共 AWS 数据集的一部分以及如何下载。

具体来说，我想从Common Crawl Corpus下载一部分做本地测试。

Answer 1

看起来你可以。如果您将浏览器指向public URL provided by Amazon，您可以看到整个集合和子集的链接。

您可以使用浏览器或任何 S3 客户端工具或库下载它。