【问题标题】:should I be aggregating messages in storm or not due to its internal buffering由于其内部缓冲,我是否应该在风暴中聚合消息
【发布时间】:2013-10-25 11:59:59
【问题描述】:

在这篇文章中 Understanding the Internal Message Buffers of Storm 提到storm会进行内部缓冲。

现在,我将有大量事件进入我的风暴拓扑,这些拓扑将具有多个层(螺栓)。第一层将以随机方式“消化”所有传入事件,并且可能对于每个传入事件都会将一个新事件发送到下一层(螺栓到螺栓)。但是,对我来说,第一层也有可能只定期发出消息(因此,它可以在每个滴答声中发出一个事件,而不是为每个传入事件发出一个事件:假设每秒 - 这将大大减少下一个的负载层)。

但是,当我阅读上述文章时,我看到 Storm 有内部缓冲,我想知道这是否意味着我不需要弄乱滴答喷口,因为 Storm 已经为我做了内部缓冲。

【问题讨论】:

    标签: apache-storm eda


    【解决方案1】:

    我会将层之间的任何消息缓冲留给风暴。在构建storm的缓冲过程中投入了大量的思想和努力,除非你有很强的动机(由经验证据提供),否则我建议你让它处理缓冲。谨防过早的优化。

    【讨论】:

      猜你喜欢
      • 2018-08-22
      • 1970-01-01
      • 2020-01-09
      • 1970-01-01
      • 2014-01-15
      • 1970-01-01
      • 1970-01-01
      • 2011-03-28
      • 2013-03-03
      相关资源
      最近更新 更多