来自 S3 的 Hadoop distcp 副本：签名不匹配错误

Question

我正在尝试将文件从 S3 复制到我在 Amazon EC2 上的 hadoop HDFS。

我使用的命令是：

bin/hadoop distcp s3://<awsAccessKeyId>:<awsSecretAccessKey>@<bucket_name>/f1 hdfs://user/root/

• f1 是文件名
• 我也把它改成了 s3n 看看它是否有效，但它没有。
• 我将秘密访问密钥中的正斜杠替换为 %2F

我得到的错误是：SignatureDoesNotMatch

org.jets3t.service.S3ServiceException: S3 GET failed for '/%2Ff1'

<Message>The request signature we calculated does not match the signature you provided. Check your key and signing method.</Message>

<StringToSignBytes>...</StringToSignBytes>

<RequestId>...</RequestId>

<HostId>..</HostId>

<SignatureProvided>NsefW5en6P728cc9llkFIk6yGc4=\
    </SignatureProvided>

<StringToSign>GETMon, 05 Aug 2013 15:28:21 GMT/<bucket_name>/%2Ff1</StringToSign>

<AWSAccessKeyId><MY_ACCESS_ID><\ /AWSAccessKeyId></Error>

我只有一个 AWS 访问密钥 ID 和密钥。我检查了我的 AWS 账户，它们是一样的。我使用相同的 AWS 访问密钥和密钥登录我的 EC2 集群。我也尝试过使用 core-site.xml，但这也没有帮助。

谢谢， 拉吉夫

Answer 1

重新生成我的 AWS 密钥和秘密，这样我的秘密中没有正斜杠对我有用。 参考：https://issues.apache.org/jira/browse/HADOOP-3733

Answer 2

重新生成对我有用的密钥的另一种方法是在运行 distcp 时使用 -Dfs.s3n.awsAccessKeyId= -Dfs.s3n.awsSecretAccessKey= 标志。

示例： hadoop distcp -Dfs.s3n.awsAccessKeyId= -Dfs.s3n.awsSecretAccessKey= s3n://path/to/log/dir hdfs://hdfs-node:8020/logs/

注意使用 s3n，它有 5GB 的文件限制：Difference between Amazon S3 and S3n in Hadoop

编辑：不要对秘密访问密钥进行 url 编码，因此斜杠“/”和加号“+”应该按原样传递！