Hadoop：为 distcp 指定纱线队列答案

【问题标题】：Hadoop: specify yarn queue for distcpHadoop：为 distcp 指定纱线队列
【发布时间】：2016-02-06 01:30:43
【问题描述】：

在我们的集群上，我们设置了动态资源池。

设置规则，以便第一个 yarn 将查看指定队列，然后查看用户名，然后查看主组 ...

但是对于distcp，我似乎无法指定队列，它只是将其设置为主要组。

这就是我现在运行它的方式（不起作用）：

 hadoop distcp -Dmapred.job.queue.name:root.default .......

【问题讨论】：

标签： hadoop hadoop-yarn distcp

【解决方案1】：

你在参数的规范中犯了一个错误。

您不应该使用“:”来分隔键/值对。您应该使用“=”。

命令应该是

 hadoop distcp -Dmapred.job.queue.name=root.default .......

【讨论】：

dmapred.job.queue.name 现已弃用，请使用 mapreduce.job.queuename

【解决方案2】：

-Dmapreduce.job.queuename=root.default

【讨论】：

【解决方案3】：

同样，hadoop archive 可以被指示以自定义队列为目标：

hadoop archive <strong>-Dmapreduce.job.queuename='<leaf.queue.name></strong> ...

我借此响应的机会为 hadoop 存档提供提示：因为它将为每个要创建的文件创建一个地图任务（默认情况下，目标文件大小为 2GB）。在归档数 TB 的数据时，这可能会导致数以千计的地图。

hadoop 归档的 part-* 文件的大小由 undocumented har.partfile.size 控制：您可以通过将值（以字节为单位）设置得更高来增加它超过 2GiB 与 <strong>-Dhar.partfile.size=<value in bytes></strong>

【讨论】：