【问题标题】:What is the difference between Real-time Anomaly Detection and Anomaly Detection?实时异常检测和异常检测有什么区别?
【发布时间】:2020-05-20 02:47:07
【问题描述】:

因此,得出以下结论:实时异常检测的明确定义是什么?

我正在研究异常检测领域,在许多论文中,该方法被定义为实时,而在许多其他论文中,它被简单地称为异常检测

我碰巧发现,请纠正我是否错了,大多数所谓的实时方法都是 near-real-time。具体来说,它们是某种无监督的基于上下文的时间序列异常检测,其中上下文几乎总是桶大小。换句话说,算法处理微批量数据,因此从这里开始遵循近实时

现在,我想知道这两种异常检测是否有区别。如果是,它们之间有何不同?桶大小的阈值是多少(如果有的话)?

这组问题源于我正在进行一项关于异常检测不同框架的预测性能/质量的研究,我想知道这种差异是否很大,因为它意味着两个不同的评估指标。 我想阅读一些关于这个问题的认证来源。

【问题讨论】:

  • 我将实时假设为检查潜在无限数据集中的数据流。当然,这几乎是实时发生的,因为没有什么是瞬时的。反之则处理有限的数据源。

标签: real-time anomaly-detection


【解决方案1】:

有趣的是,我最近为一个爱好项目考虑了一些类似的主题,并发现了 Crunchmetrics 的一些有趣的博客,该公司专门从事基于 ML 的异常检测。要点:

实时 - 有一个系统可以参考的训练或基线数据集。如果经过优化,参考“查找”很快就会实时显示。

近乎实时 - 没有现有的训练或统计模型,系统必须在运行时计算基线、数据帧或范围,从而影响决策速度。

我发现一个有用的博客...(我与这家公司没有关系): anomaly blog post

【讨论】:

    【解决方案2】:

    在计算机图形学中,实时处理意味着足够快以显示为运动。在实践中,这意味着以至少 24 fps 的速度处理图像。

    将此含义应用于实时异常检测,我们有一个实时视频源示例。我们必须足够快地处理异常检测算法以跟上视频源。在这种情况下,异常检测必须在每帧约 40 毫秒内完成。

    这将限制异常检测质量与处理速度之间的权衡。

    一个快速的谷歌抛出了一些关于这种权衡的文献。 https://www.researchgate.net/publication/224258100_Real-time_camera_anomaly_detection_for_real-world_video_surveillance

    【讨论】:

      【解决方案3】:

      在我看来,这一切都归结为“实时”的定义。

      作为一名控制工程师,我所接受的实时定义只是在下一个样本到达之前足够快地处理接收到的数据。这意味着,如果您知道采样率,就知道您需要花很多时间来处理传感器数据。

      在控制理论中,处理算法内存的长度并不重要。又名。 Bucket Size,传感器缓冲区长度。所选的采样率和控制器的响应能力都取决于受控过程的动态。

      因此,对于家用散热器控制器等设备而言,实时可能是每分钟一个样本,这意味着您可以处理很长的样本历史。原则上,您可以根据过去两年的数据训练神经网络,然后让它进行异常检测,对每个收到的样本进行一次。

      如果这是一个雷达,数据以纳秒级的采样率进入,您可能没有时间做比应用阈值更多的事情。

      异常检测作为一个理论领域是独立于处理时间序列需要多少时间的,所以在我看来,区别在于实时处理要求的维恩图,以及花费的时间给定任何异常检测算法的异常检测。

      所以它是异常检测算法的一个子集,子集的大小由实时要求和处理能力之间的关系给出。

      【讨论】:

        猜你喜欢
        • 2016-02-21
        • 2014-09-29
        • 1970-01-01
        • 2014-05-06
        • 2020-08-27
        • 2019-07-24
        • 2017-12-26
        • 2020-06-01
        • 1970-01-01
        相关资源
        最近更新 更多