如何从亚马逊 AWS 下载数据集

Question

我正在尝试获取大约 1GB 的大型数据集，我主要发现大型数据集位于亚马逊网络服务中，例如 https://aws.amazon.com/datasets/google-books-ngrams/ 并声明数据可用

s3://datasets.elasticmapreduce/ngrams/books/

现在我正在尝试下载这些数据。所以为此我在 AWS 中创建了我的虚拟机。如何在我的 AWS 中下载这 2 GB 的数据，以便稍后我可以通过 scp 传输到我的本地机器？？

Answer 1

正如 Mark B 所说，您无需在 AWS 中启动服务器即可下载这些数据集。它们在 S3 中公开托管，因此您可以使用 AWS S3 CLI 的 cp 工具将它们下载到您的本地计算机，方法是运行：

aws s3 cp --recursive s3://datasets.elasticmapreduce/ngrams/books/ local

相关文档可以在here找到。