hadoop 中超过 120 个计数器答案

【问题标题】：More than 120 counters in hadoophadoop 中超过 120 个计数器
【发布时间】：2012-08-27 10:23:42
【问题描述】：

Hadoop 计数器大小有一个限制。默认为 120。我尝试使用配置“mapreduce.job.counters.limit”来改变它，但它不起作用。我看过源代码。这就像“org.apache.hadoop.mapred.Counters”类中的 JobConf 实例是私有的。以前有人见过吗？你的解决方案是什么？谢了:)

【问题讨论】：

您运行的是哪个版本的 Hadoop？
它是 0.20。你以前见过吗？
我没有遇到同样的问题（主要是因为我没有使用过多的计数器），但我使用的是 1.0.3 并且 JobConf 的东西是不同的。试试下面 Lorand 的解决方案，看起来可行。

标签： hadoop limit counter

【解决方案1】：

您可以在您的 JT、TT、客户端节点上覆盖 mapred-site.xml 中的该属性，但请确保这将是系统范围的修改：

<configuration>
  ...
  <property>
    <name>mapreduce.job.counters.limit</name>
    <value>500</value>
  </property>
  ...
</configuration>

然后重新启动集群上的 mapreduce 服务。

【讨论】：

我尝试了您的解决方案。有用。谢谢：）。我只是想知道是否有办法动态解决这个问题。
单项工作就没有办法做到这一点吗？

【解决方案2】：

在Hadoop 2中，这个配置参数被称为

mapreduce.job.counters.max

但是，在命令行或配置对象中设置它是不够的。你需要调用静态方法

org.apache.hadoop.mapreduce.counters.Limits.init()

在你的mapper或reducer的setup()方法中让设置生效。

用 2.6.0 和 2.7.1 测试。

【讨论】：

【解决方案3】：

para由配置文件设置，下面的paras生效

mapreduce.job.counters.max=1000 
mapreduce.job.counters.groups.max=500 
mapreduce.job.counters.group.name.max=1000 
mapreduce.job.counters.counter.name.max=500

【讨论】：

【解决方案4】：

添加这个以防其他人遇到与我们相同的问题：使用 MRJob 增加计数器。

要增加计数器的数量，请将 emr_configurations 添加到您的 mrjob.conf（或将其作为配置参数传递给 MRJob）：

runners:
  emr:
    emr_configurations:
      - Classification: mapred-site
        Properties:
          mapreduce.job.counters.max: 1024
          mapreduce.job.counters.counter.name.max: 256
          mapreduce.job.counters.groups.max: 256
          mapreduce.job.counters.group.name.max: 256

【讨论】：

【解决方案5】：

我们可以将限制自定义为仅针对特定作业的命令行选项，而不是在 mapred-site.xml 中进行更改。

-Dmapreduce.job.counters.limit=x
-Dmapreduce.job.counters.groups.max=y

注意：x 和 y 是基于您的环境/要求的自定义值。

【讨论】：