Flume内部原理

1.拦截器

对source接受的数据。

2.channel选择器

过滤后的数据推送到对应的channel中。

  • 选择器:
  • replicating 复制选择器 数据完整地发送到每一个channel。
  • multiplexing 多路复用选择器 根据规则匹配对应的channle。

3.sink组处理器

  • 决定哪个 Sink接受数据
  • 为什么要使用sink组逻辑处理器?
    负载均衡和故障转移。
    负载均衡是把channel里面的Event按照配置的负载机制(比如轮询)分别发送到sink各自对应的目的地;来缓解单个sink的压力。
    故障转移就是这N个sink同一时间只有一个在工作,其余的作为备用,工作的sink挂掉之后备用的sink顶上。
  • 有哪些sink处理器?
    (1)load-balancing Sink处理器,此处理器选择顺序有两种顺序:如果顺序被设置为random,那么将随机从Sink组的Sink中选择一个,用来从自己的Channel中移除事件并将它们写出。round-robin选项使Sink以循环的方式被选择:每个选择循环调用定义Sink组中指定顺序Sink的process方法。
    (2) failover Sink处理器 按照sink的优先级从高到低依次选择。

相关文章:

  • 2021-07-23
  • 2021-07-25
  • 2021-11-01
  • 2021-05-07
  • 2021-09-08
  • 2021-05-25
  • 2021-09-20
  • 2021-06-28
猜你喜欢
  • 2021-11-11
  • 2022-01-23
  • 2021-05-20
  • 2021-08-27
  • 2021-08-02
  • 2021-04-24
相关资源
相似解决方案