【问题标题】:Hadoop distcp command says can't connect to serverHadoop distcp 命令说无法连接到服务器
【发布时间】:2015-10-22 23:56:17
【问题描述】:

我想将数据从 S3 下载到 HDFS。我试过s3cmd,但它不是平行的,因此很慢。我试图让hadoop distcp 像这样工作:

hadoop distcp -Dfs.s3n.awsAccessKeyId=[Access Key] -Dfs.s3n.awsSecretAccessKey=[Secret Key] s3n://[account-name]/[bucket]/folder /data

但它给了我:

ipc.Client:重试连接到服务器: ec2-[ip].compute-1.amazonaws.com/[internal-ip]:9001。已尝试 0 次

【问题讨论】:

    标签: amazon-s3 hdfs


    【解决方案1】:

    distcp 是一个基于 map reduce 的作业。确保工作跟踪服务已启动。试试

    hadoop/bin/start-all.sh
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-04-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-10-08
      • 2015-05-18
      相关资源
      最近更新 更多