从 aws s3 存储桶下载 yfcc100m答案

【问题标题】：Downloading yfcc100m from aws s3 bucket从 aws s3 存储桶下载 yfcc100m
【发布时间】：2017-01-11 07:29:46
【问题描述】：

我正在尝试下载托管在 AWS 中的数据集。我正在尝试使用s3cmd 并使用我的访问密钥和密钥对其进行配置。我可以使用以下方法正确列出存储桶中的文件：

s3cmd ls s3://yahoo-webscope/I3set13/

我使用get下载数据集：

s3cmd get --recursive s3://yahoo-webscope/I3set13/

但显示以下错误：

ERROR: S3 error: 403 (Forbidden)

我发现一些解决方案建议更改存储桶策略，但我无法更改它，因为我不是所有者。

请告诉我问题背后的原因以及如何解决。

【问题讨论】：

似乎您的访问/密钥只有ListObjects 权限，并且在存储桶策略中没有GetObject 权限。您需要更新存储桶策略。
这就是问题所在。我无权访问该存储桶的策略。该存储桶由其他人托管。我也是aws的新手。如果我误解了你所说的，请给我一个链接或一些细节。谢谢。
您需要有权访问存储桶策略，或者只是告诉您的主机为您执行此操作。
@KhalidT。请考虑这是否可能是 S3 上可用的 public 数据集之一。
@Michael-sqlbot：是的，但即使使用托管在 S3 中的 AWS 公共数据集，仍然应该能够下载数据（如此处所述：aws.amazon.com/public-datasets）。也许OP需要在问题中澄清更多。

标签： amazon-web-services amazon-s3 dataset s3cmd

【解决方案1】：

根据https://multimediacommons.wordpress.com/yfcc100m-core-dataset/，虽然数据集托管在 S3 存储桶中，但对其的访问受到限制，因此您需要 submit a request 并按照进一步的电子邮件说明进行访问：

获取 YFCC100M：可以通过 Yahoo Webscope 请求数据集。如果您还没有雅虎帐户，则需要创建一个雅虎帐户，登录后您会发现提交 YFCC100M 请求很简单。 Webscope 将要求您告诉他们您对数据集的计划，这有助于他们证明其学术外展计划的存在是合理的，并允许他们在未来继续提供数据集。与 Webscope 提供的其他数据集不同，YFCC100M 不需要您是认可大学的学生或教员，因此您将自动获得批准。

【讨论】：

我要求提供数据集，正如答案中所说的那样。但我做错的事情是使用另一个帐户的访问密钥。访问密钥必须来自与从 yahoo-webscope 请求数据集时提供的帐户相同的帐户。
“访问密钥必须来自与从 yahoo-webscope 请求数据集时提供的帐户相同的帐户。” @rakinhaider 您的意思是访问密钥必须来自与请求数据集时提供的电子邮件地址相同的电子邮件地址吗？？？因为一个人不能用他的雅虎账户访问亚马逊 AWS。还是我错过了什么？
是的，我的意思是您必须使用与您请求数据集的电子邮件地址相同的电子邮件地址在 Amazon AWS 中注册。