【问题标题】:Flume - Multiple sinks and channels for single agentFlume - 单个代理的多个接收器和通道
【发布时间】:2015-07-27 20:54:16
【问题描述】:

我正在尝试设置水槽,以便每个代理可以有多个接收器,最终可以有多个通道和源(现在只查看多个通道)。我有一个看起来像thisruby template 的配置文件。我对如何着手并将功能添加到模板文件感到困惑,以便每个代理可以将事件发送到多个通道

【问题讨论】:

  • 您可以使用agent.sources.app-log-source.channels = channel1 channel2 将多个频道描述为一个来源。这是你想要的吗?

标签: ruby puppet erb flume flume-ng


【解决方案1】:

在您的水槽代理中,您的来源基本上会将数据推送到多个代理。 FlumeNG 默认支持将事件多路复用到不同的通道中。有两种选择:

  1. 复制来源:将来源中的所有数据复制到所有渠道

  2. 选择性推送:根据一些条件选择性地向你的频道推送一些数据

flume 中的语法是这样的:

dataplatform.sources.source1.selector.type = replicating (or multiplexing)

(假设代理名称是dataplatform)

您可以通过这种方式将数据从您的来源路由到多个渠道:

dataplatform.sources.source1.channels = channel1 channel2 channel3 

更多细节请参考flume-ng用户指南:https://flume.apache.org/FlumeUserGuide.html

【讨论】:

  • 我浏览了指南并能够配置多个频道。知道如何将每个通道链接到多个接收器吗?如果有解决方案,我可以问一个单独的问题
  • flume 中的一个通道可以写入多个接收器,但该功能通常用于负载平衡或故障转移。查看用户指南中的 Flume Sink 处理器
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-10-10
  • 2016-03-02
  • 1970-01-01
  • 2021-01-28
  • 2019-11-12
  • 1970-01-01
相关资源
最近更新 更多