reducer 数量对集群节点数量的依赖性

Question

我的 hadoop 程序使用一个映射器，它将输入数据分解为一定数量的部分，这些部分在/usr/countcomputers.txt 文件中设置（由映射器函数读取）。进一步在一个部分到达每个减速器。因此，/usr/countcomputers.txt 文件中设置的数字定义了减速器的数量。在这方面我有一个问题：reducers 仅在启动 TaskTracker 的恶魔的计算机上执行，或者在所有节点上执行，包括由 JobTracker 和 Secondary NameNode 启动的 NameNode 的哪些恶魔？对我来说，了解这个问题的答案非常重要，因为/usr/countcomputers.txt 文件中设置的数字取决于它，请在程序中读取。

Answer 1

仅允许 tasktracker 运行 reducer（如果您为属性 mapreduce.tasktracker.reduce.tasks.maximum 配置了大​​于零的数字）。

因此您可以放心地假设只有在运行 tasktracker 的主机上才会执行 reduce 任务。