【问题标题】:Regularize unevenly spaced time series with spark-ts使用 spark-ts 规范不均匀间隔的时间序列
【发布时间】:2016-09-28 23:20:01
【问题描述】:

我们计划将传感器时间序列数据存储在cassandra 中,并使用spark/spark-ts 对其应用机器学习算法。

与文档中不同,我们的时间序列数据是不规则的 - unevenly spaced time series - 因为传感器发送基于事件的数据。

但大多数算法和模型都需要有规律的时间序列。

  • spark-ts 是否提供任何函数将不规则时间序列转换为规则时间序列(使用插值或时间加权平均等)?

  • 如果不是,推荐的解决该问题的方法是什么?

【问题讨论】:

    标签: apache-spark time-series


    【解决方案1】:

    spark-ts 不提供任何将不规则时间序列转换为规则时间序列的功能。

    您如何处理不规则间隔的时间序列取决于您试图通过分析实现的目标。时间序列的用例包括预测/预测、异常检测或尝试理解/分析过去的行为。

    如果您希望使用 spark-ts 中可用的算法(而不是通过为事件流设计的其他统计过程对数据进行建模),一种选择是将时间轴划分为大小相等的 bin,然后计算每个 bin 中数据的摘要(例如,总数、平均值等)。随着您使您的 bin 越来越细粒度,由于量化时间维度而丢失的信息被最小化,但您的数据可能更难建模(因此 bin 大小控制权衡)。因此,分箱后的数据会形成一个均匀分布的时间序列,您可以使用典型的时间序列技术对其进行分析。

    【讨论】:

      猜你喜欢
      • 2022-08-03
      • 1970-01-01
      • 1970-01-01
      • 2017-01-09
      • 2021-05-10
      • 1970-01-01
      相关资源
      最近更新 更多