【问题标题】：DataNode and TaskTracker on separate machines?DataNode 和 TaskTracker 在不同的机器上？
【发布时间】：2014-12-16 04:52:22
【问题描述】：

我对 Hadoop 相当陌生，我对 Hadoop 框架有以下疑问。有人可以指导一下吗？

DataNode 和 TaskTracker 物理上是否位于生产环境中的不同机器上？
Hadoop 何时将文件拆分为块？将文件从本地文件系统复制到 HDFS 时会发生这种情况吗？

【问题讨论】：

标签： hadoop

【解决方案1】：

简答

大部分时间，但不一定。
是的。

长答案

1)

在集群上安装 Hadoop 将具有 2 种主要类型的节点：

主节点
数据节点

主节点通常至少运行：

CLDB
动物园管理员
工作跟踪器

数据节点通常至少运行：

任务跟踪器

The DataNode service can run on a different node than the TaskTracker service。但是，DataNode 服务的Hadoop Docs 建议在同一节点上运行DataNode 和TaskTracker，以便在接近数据的情况下执行MapReduce 操作。

对于 Hadoop 的 MapR 分布，两个服务器角色通常运行：

MapR 控制节点
- 动物园管理员 *
- CLDB *
- 工作跟踪器 *
- HBaseMaster
- NFS 网关
- 网络服务器
MapR 数据节点
- 任务跟踪器 *
- RegionServer（有时）
- 动物园管理员（有时）

2)

虽然大多数文件系统将数据存储在块中，但 HDFS 会在 DataNodes 之间分发和复制块。当您第一次将数据存储在 HDFS 中时，它会将其分成块并根据指定的复制因子将其存储在不同的节点上。但是，如果您将新的DataNodes 添加到集群中，则它是will not automatically rebalance old blocks across them，除非不满足复制因子。

（感谢@javadba 澄清这一点！）

【讨论】：

简答：应该是NO。 Tasktracker 和 datanode 在同一台机器上，而不是不同的机器上。您的长答案通常很好；但是，有一个细节：在 DataNode 或 Master 节点上运行 Zookeeper 都没有问题。
@javadba：没有看到DataNode 是一个词，所以我想他们的意思是DataNode 作为服务，而不是“数据节点”。有人告诉我TaskTracker 是在数据节点上运行的服务，所以在我看来，我将TaskTracker 等同于“数据节点”。似乎Hadoop Docs 说您应该在同一台服务器上运行TaskTracker 和DataNode……我错了吗？
虽然 TaskTracker 和 DataNode 可能不是一对一的，但这种情况并不常见。
@javadba：明白了。编辑我的答案更准确。
为您的“Long Anawer”投票支持#1）。希望我能在回答 #2 时得到一些关注）

【解决方案2】：

鉴于 TrinitronX 已经回答了 #1 - 尽管简短答案应该是 NO - 数据节点/任务跟踪器可能位于不同的物理机器上，但这种情况并不常见。您最好从作为数据节点和任务跟踪器的“从属”机器开始。

所以这是问题第二部分的答案

2) When does Hadoop splits a file into blocks? Does this happen when you copy a file from local filesystem into HDFS?

是的。该文件在加载到 HDFS 时被分解为块。

【讨论】：

【解决方案3】：

数据节点和作业跟踪器可以在不同的机器上运行。
在 hadoop 上的所有操作期间，Hadoop 始终将文件存储为块

参考

1.Hadoop Job tracker and task tracker

2.Hadoop block size and Replication

【讨论】：