我们正在处理 5000 万个数据，最终处理后，我们在 pig 脚本中使用了 rank 函数，pig 作业在执行 rank 函数时失败，我们得到以下错误： “org.apache.hadoop.mapreduce.counters.LimitExceededException：计数器太多：121 max=120”
我们在 pig 脚本中使用了以下命令，但仍然遇到同样的错误：
设置 mapreduce.job.counters.max 1000
如果有人能帮我解决这个错误，或者可以为我提供在 50+百万处理数据上使用排名函数的替代方法，我将不胜感激。
【问题讨论】：
标签： hadoop mapreduce bigdata apache-pig pig-udf
检查 mapred-site.xml 计数器限制值。很可能该文件中的限制设置为 120。该文件位于您的 hadoop 主目录中，例如：$HADOOP_HOME/conf/mapred-site.xml
<property>
<name>mapreduce.job.counters.limit</name>
<value>1000</value> -- Most likely this is set to 120 in your case.
</property>
在 Hadoop 2.0 中，它的 mapreduce.job.counters.max
<property>
<name>mapreduce.job.counters.max</name>
<value>1000</value> -- Most likely this is set to 120 in your case.
</property>
【讨论】：