【问题标题】:Apache Flume setup instruction on edge node边缘节点上的 Apache Flume 设置说明
【发布时间】:2018-05-15 12:33:32
【问题描述】:

尝试在边缘节点上设置 Flume,我查看了许多博客,但没有太多想法,因为它们中的大多数都指的是单节点集群,有人可以建议在边缘节点上设置是个好主意吗?在 HDFS 或任何工作节点设置(数据节点)的服务器上,如果是,那么将在边缘节点上设置什么配置。

【问题讨论】:

    标签: flume flume-ng


    【解决方案1】:

    正如 Viren 在边缘节点上的生产环境中建议的那样,您只需要配置 Flume,这不是您不能在 namenode 服务器上执行的操作,但我们需要避免这样做,以解决性能问题。

    【讨论】:

      【解决方案2】:

      如果这是一个生产环境,最好避免使用 NameNode 服务器、资源管理器服务器、日志节点和 DataNode。这给你留下了边缘节点。

      这个过程是:
      1) 安装 Hadoop 客户端。
      2) 安装 Flume
      3) 在flume.conf 文件中配置flume(或者你想给的任何名字)。您可以在线找到许多示例配置。
      4) 将监控类型设置为 http 以便快速检查性能数据。
      5) 打开 Sources 和 Sinks 的端口。
      5) 启动代理。
      6) 检查代理日志以查看所有组件已启动。
      7) 尝试发送一些示例数据并检查它是否到达目的地。
      8) 调试任何故障。

      如果您需要更多信息,请告诉我。

      【讨论】:

      • 嗨,Viren,感谢您的回复。在我设置水槽时运行我的 hadoop 和其他守护程序的同一台服务器上,它工作正常。
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多