【发布时间】:2018-05-15 12:33:32
【问题描述】:
尝试在边缘节点上设置 Flume,我查看了许多博客,但没有太多想法,因为它们中的大多数都指的是单节点集群,有人可以建议在边缘节点上设置是个好主意吗?在 HDFS 或任何工作节点设置(数据节点)的服务器上,如果是,那么将在边缘节点上设置什么配置。
【问题讨论】:
尝试在边缘节点上设置 Flume,我查看了许多博客,但没有太多想法,因为它们中的大多数都指的是单节点集群,有人可以建议在边缘节点上设置是个好主意吗?在 HDFS 或任何工作节点设置(数据节点)的服务器上,如果是,那么将在边缘节点上设置什么配置。
【问题讨论】:
正如 Viren 在边缘节点上的生产环境中建议的那样,您只需要配置 Flume,这不是您不能在 namenode 服务器上执行的操作,但我们需要避免这样做,以解决性能问题。
【讨论】:
如果这是一个生产环境,最好避免使用 NameNode 服务器、资源管理器服务器、日志节点和 DataNode。这给你留下了边缘节点。
这个过程是:
1) 安装 Hadoop 客户端。
2) 安装 Flume
3) 在flume.conf 文件中配置flume(或者你想给的任何名字)。您可以在线找到许多示例配置。
4) 将监控类型设置为 http 以便快速检查性能数据。
5) 打开 Sources 和 Sinks 的端口。
5) 启动代理。
6) 检查代理日志以查看所有组件已启动。
7) 尝试发送一些示例数据并检查它是否到达目的地。
8) 调试任何故障。
如果您需要更多信息,请告诉我。
【讨论】: