【问题标题】:How to find anomalies in wind-sensor TimeSeries data?如何发现风传感器时间序列数据中的异常?
【发布时间】:2019-11-28 07:38:35
【问题描述】:

我有包含TimeStamp[hour base] 和风传感器值的时间序列数据集。我需要从这个数据集中找出异常。

发现异常的技术有哪些?

如何仅通过这两个特征(TimeStamp、sensor-value)发现异常?

【问题讨论】:

标签: python machine-learning deep-learning time-series data-science-experience


【解决方案1】:

非常广泛的问题,所以这将是一个通用/广泛的答案:

要定义异常,您需要思考并定义您认为正常的情况。 通常我们在(时间序列)数据方面考虑两件事;

  1. 数据可用性: 那里的数据是您期望的吗?通常通过查看随时间变化的行数来监控(您插入的数据比预期的多还是少) 此处也可以使用对空值进行计数,但这已经导致数据质量问题:
  2. 数据质量: 是您期望的范围内的值吗?它们是您期望的类型/格式等吗? 您可以使用标准偏差/方差/正态分布来监控这一点。或硬限制并定义您接受/期望的值(例如最小值、最大值)

【讨论】:

  • 检测异常的步骤: 1. 计算误差项(实际-预测)。 2. 计算滚动平均值和滚动标准差(窗口为一周)。 3. 将误差为 1.5、1.75 和 2 个标准差的数据分类为低、中、高异常的界限。 (5% 的数据点将基于此属性识别异常)这是正确的方法吗?
猜你喜欢
  • 2020-10-09
  • 2017-05-02
  • 1970-01-01
  • 2016-09-28
  • 1970-01-01
  • 2015-01-15
  • 2016-03-12
  • 2013-04-28
  • 2020-11-13
相关资源
最近更新 更多