【问题标题】:how to use apache storm to find consecutive time series from sensor data?如何使用 apachestorm 从传感器数据中查找连续的时间序列?
【发布时间】:2015-10-20 21:18:01
【问题描述】:

我们正在使用 Apache Storm 对一些传感器数据进行一些预处理。数据类似于。

我们的要求之一是检测连续的时间序列。例如,我们有 4 个数据,T1,T2,T3,T4,其中 T4-T3 大于 1 分钟,其余的相差小于 1 分钟,我们认为 T1,T2,T3 是连续时间系列和 T4 是另一个时间系列的开始。

我们的拓扑如下: spout-->数据编解码器bolt-->时间序列检测bolt。

“数据编解码螺栓”的逻辑相当复杂,因此我们将执行器编号设置为2。问题是时序检测螺栓需要按顺序处理数据,而并行的“编解码螺栓”可以任务保证这个顺序??

或者我们应该以其他方式实现它吗?

【问题讨论】:

    标签: apache-storm


    【解决方案1】:

    是的,Storm 保证事务拓扑中的序列顺序。 引用链接:https://storm.apache.org/documentation/Transactional-topologies.html

    事务拓扑背后的核心思想是为数据处理提供强大的排序。最简单的表现形式,也是我们将看到的第一个设计,是一次处理一个元组,直到当前元组被拓扑成功处理后才继续处理下一个元组。

    【讨论】:

      猜你喜欢
      • 2015-01-10
      • 1970-01-01
      • 2023-03-12
      • 2017-05-02
      • 2013-04-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多