使用 hadoop 从 S3 'requester pay' 存储桶下载数据时出错答案

【问题标题】：error in download data from S3 'requester pay' bucket using hadoop使用 hadoop 从 S3 'requester pay' 存储桶下载数据时出错
【发布时间】：2013-11-15 07:28:28
【问题描述】：

我正在使用带有命令 distcp 的 Hadoop 1.2.0 从 S3 'requester pay' 存储桶下载数据，我有有效的 aws id 和 key，但是，它出错了，如下所示。

org.jets3t.service.S3ServiceException：'/dataset' XML 错误消息的 S3 GET 失败：AccessDeniedAccess Denied4FDSDFS454DDWzToSESDFkzv+eiJBmRbqBkW0iWeOcSDFSD834SDFWE923UBzfMiyGXYXeX

我尝试了很多方法：将 jets3t 升级到最新版本，并按照此帖子 (http://www.mail-archive.com/user@pig.apache.org/msg03395.html) 进行配置（但是，这不起作用）。

但是，没有一个有效。有没有人解决这个问题？

【问题讨论】：

标签： hadoop amazon-s3 jets3t

【解决方案1】：

您是否对尝试访问的文件夹/文件具有读取权限？

【讨论】：

是的，我有权限，因为我可以使用s3cmd成功下载数据。但是，使用 jets3t 时会失败。