Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

Hadoop任务提交到YARN运行出现Shuffle$ShuffleError: error in shuffle in fetcher#5

##错误原因:内存空间不足,
https://www.cnblogs.com/barneywill/p/10114729.html
我们需要做的是配置yarn.nodemanager.local-dirs参数,
因为默认配置${hadoop.tmp.dir}/nm-local-dir,配置在这里会经常报磁盘空间不足的错误
之前也试过网上其他答案的修改hosts,修改诸如mapreduce.reduce.shuffle.memory.limit.percent的参数的帖子并不奏效,其实本质在于内存空间不足,
在yarn-site.xml中做如下配置:

Hadoop任务提交到YARN运行出现Shuffle$ShuffleError: error in shuffle in fetcher#5
注意关键是第三个配置,他的value是自己新建的一个tmp目录,自己建一个tmp目录即可

相关文章:

  • 2021-05-31
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-06-19
  • 2022-12-23
  • 2021-12-20
  • 2021-04-21
猜你喜欢
  • 2021-12-21
  • 2022-12-23
  • 2021-09-12
  • 2021-09-04
  • 2022-12-23
  • 2021-07-26
  • 2021-04-26
相关资源
相似解决方案