Hadoop：MapReduce：节点选择

Question

我有三台机架服务器，每台服务器有五个节点，从节点 1 到节点 15，我编写了一个文件 file.txt，它分为四个数据块 A、B、C、D 并存储在节点 1 中（包含块 A，B）和节点 11（包含块 C，D）。作业跟踪器为节点 1 和 11 的任务跟踪器提供代码以在其本地块中执行地图任务。

我的问题是：

1. 作业跟踪器如何决定必须在哪个节点执行缩减作业。是因为机架意识吗？

2. 在节点 2、节点 6 和节点 12 中，哪个节点是执行 reduce 任务的最佳节点，假设这些节点当前没有被任何任务占用？

3. map 任务在节点上结束后，能否在节点 1 或节点 11 中的任何一个上执行 reduce 任务。

提前致谢。

Answer 1

1) Job Tracker 可以选择 Node1 或 Node 11 进行 Reduce 操作，它可以选择需要较少数据传输的节点。

2) Node2 或 Node12 中的任一个

3) 是的。要开始 Reduce 操作，需要将所有 map 输出复制到要执行 reduce 操作的节点。因此，一旦 Node 1 和 Node 11 的 map 函数完成，job tracker 可能会在 Node1 或 Node11 上启动 reduce 操作。

希望这会有所帮助。