hadoop distcp 不工作，MR 工作处于接受状态答案

【问题标题】：hadoop distcp not working,MR job in accepted statehadoop distcp 不工作，MR 工作处于接受状态
【发布时间】：2015-03-06 18:44:14
【问题描述】：

我正在尝试将数据从 CDH4 复制到 CDH5 集群。当我从 CDH5 提交 distcp 作业时，MR 作业进入接受状态并停留在那里（我已经尝试过多次，它在那里停留了超过 15 小时）。我要复制的数据小于 10MB。

以下是我正在使用的设置和步骤。

来源：CDH4，例如节点名 = cloudera4 目的地：CDH5，例如节点名 = Cloudera1

CDH5 上使用的命令： hadoop distcp hftp://Cloudera4:50070/ hdfs://Cloudera1/

下面是控制台输出：

[root@Cloudera1-RD opt]# sudo -u hdfs hadoop distcp hftp://Cloudera4:50070/ hdfs://Cloudera1/

    15/03/05 10:51:23 INFO tools.DistCp: Input Options: DistCpOptions{atomicCommit=false, syncFolder=false, deleteMissing=false, ignoreFailures=false, maxMaps=20, sslConfigurationFile='null', copyStrategy='uniformsize', sourceFileListing=null, sourcePaths=[hftp://Cloudera4:50070/], targetPath=hdfs://Cloudera1/, targetPathExists=true, preserveRawXattrs=false}
    15/03/05 10:51:23 INFO client.RMProxy: Connecting to ResourceManager at Cloudera1:8032
    15/03/05 10:51:27 INFO Configuration.deprecation: io.sort.mb is deprecated. Instead, use mapreduce.task.io.sort.mb
    15/03/05 10:51:27 INFO Configuration.deprecation: io.sort.factor is deprecated. Instead, use mapreduce.task.io.sort.factor
    15/03/05 10:51:28 INFO client.RMProxy: Connecting to ResourceManager at Cloudera1:8032
    15/03/05 10:51:29 INFO mapreduce.JobSubmitter: number of splits:18
    15/03/05 10:51:29 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1425491750932_0010
    15/03/05 10:51:30 INFO impl.YarnClientImpl: Submitted application application_1425491750932_0010
    15/03/05 10:51:30 INFO mapreduce.Job: The url to track the job: http://Cloudera1:8088/proxy/application_1425491750932_0010/
    15/03/05 10:51:30 INFO tools.DistCp: DistCp job-id: job_1425491750932_0010
    15/03/05 10:51:30 INFO mapreduce.Job: Running job: job_1425491750932_0010

此 MR 作业将永远处于 Accepted 状态。

我从很多天开始就被这个困扰了。我真的很感谢你的帮助。

【问题讨论】：

资源管理器或节点管理器日志中可能有更多信息。在资源管理器主机和节点管理器主机上执行 grep 1425491750932_0010 /var/log/hadoop-yarn/*.log 看看是否有任何问题。
保罗，我尝试了你的建议，但现在很幸运。当我 grep 时，我没有任何结果。
这是单节点集群吗？这可能是由于集群的容量限制。请为调度程序发布您的hadoop conf，例如/etc/hadoop/conf/capacity-scheduler.xml
保罗，感谢您的意见。这是多节点（3 个节点）集群。我放弃了迁移，终于为 CDH 5 创建了新的 CDH 集群。

标签： hadoop mapreduce hbase distcp

【解决方案1】：

您的code 的问题是不要以 hdfs 用户 身份运行 distcp，默认情况下该用户已被列入 MapReduce 作业的黑名单。

参考链接并运行 distcp

【讨论】：

【解决方案2】：

通过使用解决了它： hdfs dfs -cp s3://<path> hdfs:///user/livy/

【讨论】：