关于过滤掉一致的时间序列数据的想法

Question

所以我有代表两种情况的两个数据子集。需要过滤掉看起来更一致的那个（它们是噪音），而保留看起来随机的那个（它们是运动）。我使用的方法是定义一个移动窗口 = 10，只要窗口内数据的标准偏差小于某个阈值，我就会抑制它们。但是，这种方法不能过滤掉所有“一致”的噪声，同时也会伤害不一致的噪声（真实运动）。我希望使用某种统计模型而不是机器学习来实现这一点。任何建议，将不胜感激！ noise real motion

Answer 1

Kolmogorov–Smirnov 检验用于比较两个样本以确定它们是否来自同一分布。我意识到现实世界的数据永远不会是统一的。因此，我没有将噪声数据与均匀分布进行比较，而是使用 scipy.stats.ks_2samp 函数将任何突发与一个真实运动突发进行比较。然后，如果返回的 p 值非常小，我就将运动静音，这意味着我可以拒绝两个样本来自同一分布的假设。