【发布时间】:2015-10-22 23:56:17
【问题描述】:
我想将数据从 S3 下载到 HDFS。我试过s3cmd,但它不是平行的,因此很慢。我试图让hadoop distcp 像这样工作:
hadoop distcp -Dfs.s3n.awsAccessKeyId=[Access Key] -Dfs.s3n.awsSecretAccessKey=[Secret Key] s3n://[account-name]/[bucket]/folder /data
但它给了我:
ipc.Client:重试连接到服务器: ec2-[ip].compute-1.amazonaws.com/[internal-ip]:9001。已尝试 0 次
【问题讨论】: