【发布时间】：2013-05-17 02:41:24
【问题描述】：
谁能解释一下hadoop中Edge节点的架构。 我只能在互联网上找到定义，我有以下疑问 -
1) 边缘节点是否必须是集群的一部分（如果它在集群内部，我们有什么优势？）。它是否在 hdfs 中存储任何数据块。
2) 边缘节点可以在集群外吗？
【问题讨论】：
【发布时间】：2013-05-17 02:41:24
【问题描述】：
+1 与戴尔解释。在我看来，Hadoop 集群中的边缘节点通常是负责运行 Hadoop 集群客户端操作的节点。通常，边缘节点与包含 HDFS、MapReduce 等 Hadoop 服务的节点分开，主要是为了保持计算资源的分离。对于只有几个节点的小型集群，通常会看到节点扮演主服务（JT、NN 等）、从属服务（TT、DN 等）和网关服务的混合角色。
请注意，在同一节点上运行主 Hadoop 服务和从属 Hadoop 服务并不是一个理想的设置，并且可能会导致扩展和资源问题，具体取决于所使用的内容。这种配置通常出现在小型开发环境中。
话虽如此，以下是您发布的问题的一些答案：
1) 边缘节点是否必须是集群的一部分？
边缘节点不必是集群的一部分，但是如果它在集群之外（意味着它没有运行任何特定的 Hadoop 服务角色），它将需要一些基本部分，例如 Hadoop用于在集群上提交作业的二进制文件和当前 Hadoop 集群配置文件。
2) 如果它在集群内部，我们有什么优势？
根据使用的分布，在集群中运行的边缘节点允许集中管理集群节点上的所有 Hadoop 配置条目，这有助于减少更新配置文件所需的管理量。通常这是一种一对多的方法，其中配置条目在一个位置更新，并推送到集群中的所有（许多）节点。
但是，当集群中的一个节点也用作边缘节点时，客户端操作会消耗 CPU 和内存资源，这会减少运行 Hadoop 服务可以利用的可用资源。节点。
3) 它是否在 hdfs 中存储任何数据块？
除非边缘节点配置了 DataNode 服务，否则数据块不会存储在该节点上。
4) 边缘节点应该在集群之外吗？
如上所述，它可以依赖于集群环境和用例；在集群外部配置它的支持原因之一是保持客户端运行和 Hadoop 服务分离。
保持边缘节点分离允许该节点利用可用于 Hadoop 处理的全部计算资源。
希望这会有所帮助！
【讨论】：
边缘节点不是一个常见的 Hadoop 术语。我希望您已经找到了我所做的相同定义，这应该可以回答您的问题......这是来自戴尔。
EdgeNode – EdgeNode 是需要使用的外部应用程序、工具和用户的接入点 Hadoop 环境。 EdgeNode 位于 Hadoop 集群和企业网络之间，提供 Hadoop 环境的访问控制、策略实施、日志记录和网关服务。一个典型的 Hadoop 环境至少有一个 EdgeNode，根据性能需要更多。
所以这完全取决于你。 Edgenode 可能在集群中，也可能不在。它可能运行 Hadoop 软件，或者仅仅能够访问它。据我所知，您基本上不需要一个 - 它只是您访问集群的方式的名称。
【讨论】：
边缘节点只不过是 hadoop 集群的看门人，它允许您访问 hadoop 应用程序，例如 hive 、 pig .. 而我会说它是与集群对话的客户端。
【讨论】：