原文https://blog.csdn.net/qq_26442553/article/details/78760338

使用hadoop进行大数据运算,当数据量及其大时,那么对MapReduce性能的调优重要性不言而喻。尤其是Shuffle过程中的参数配置对作业的总执行时间影响特别大。下面基于官网和工作中的情况总结和相关的调优策略。

     1.关于map端的调优属性   

map端和reduce端参数的调优策略

  2.关于reduce端的调优属性

    通常来说,在reduce端如果把中间数据全部驻留在内存中,那么肯定可以获取最佳性能,但默认情况下,不会发生。因为默认要预留很多内存给reduce函数进行运算。

map端和reduce端参数的调优策略

相关文章:

  • 2022-12-23
  • 2021-11-16
  • 2022-02-05
  • 2022-12-23
  • 2021-07-04
  • 2018-07-15
  • 2022-12-23
猜你喜欢
  • 2021-10-07
  • 2021-07-21
  • 2021-06-30
  • 2022-12-23
  • 2022-02-27
  • 2021-12-23
相关资源
相似解决方案