AWS EMR - 作业计数器超出限制 120答案

【问题标题】：AWS EMR - job counters exceeded limit 120AWS EMR - 作业计数器超出限制 120
【发布时间】：2016-10-21 21:38:00
【问题描述】：

我有一个我继承的 hadoop 代码库，我正在尝试在 EMR 上运行它。但是我遇到了工作计数器的问题。我收到一条错误消息，提示我超出了 120 的默认限制。我查看了我的代码，发现我有大约 40 个计数器，并且 EMR 添加了另外 30 个内部计数器，但这仍应在 120 个默认限制之内。

我在 EMR AMI 版本 2.4.2 和 Amazon 1.0.3 hadoop 发行版上运行。

【问题讨论】：

标签： hadoop emr

【解决方案1】：

您可以使用此configuration 提高计数器限制：

[
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapreduce.job.counters.max:": "1024"
    }
  }
]

这里是Amazon's instructions，了解如何将这些指令注册到您的集群。（我不直接在这里粘贴它，因为有很多方法可以做到这一点，具体取决于您如何创建和使用集群。）

【讨论】：