从间隙信号中去除偏差/噪声答案

【问题标题】：removing bias/noise from gappy signal从间隙信号中去除偏差/噪声
【发布时间】：2012-11-14 12:00:34
【问题描述】：

我在几个沙漠场地上安装了一系列土壤含水量传感器。他们的信号包含很多噪音或偏见（取决于我与谁交谈）。我想删除垃圾，同时尽可能多地保留信号。我不是信号处理专家，所以任何类似于“使用 XYZ 滤波器”或特定算法之类的东西都会对我有所帮助。

我发布了一张图表，显示了一次探测器一年的数据。信号是“顶部”；所有垃圾都低于信号： http://www.unm.edu/~hilton/swc.png

我玩过很多 Lowess 平滑；除了在信号下方有很多偏差的地方（例如下面示例中的大约 idx 1000 到 2000 和 15000 到 16000），它的效果相当不错。

我可以使用 Matlab 的信号处理工具箱，并且对 R 和 python 非常熟悉；如果其中一个有一个预先打包的过滤器，我可以从中跳出来，那会很棒（但我愿意编写新的东西）。

非常感谢，蒂姆

【问题讨论】：

标签： signal-processing

【解决方案1】：

可能值得快速尝试对您的数据集进行一些标准偏差过滤。将您的数据分成 N 段，并为每个段计算 Y 值的标准偏差。一旦你得到了这个，过滤掉 Y 值超过 3 个标准偏差（或者你想要的多少）的数据点。当然，要确定要使用多少段，需要进行一些手动工作。

【讨论】：

【解决方案2】：

我将从中值滤波器开始。如果我正确阅读了您的情节，您每小时采样两次，并且数据不是太动态。假设这是正确的，47 或 49 的中值过滤器长度将等同于一天的窗口。在这个数据集中，您可能会延长一周或更长时间。在任何情况下，您都应该将未过滤和过滤的数据相互叠加，以确保过滤后的数据通过眼球测试（当您看到它时您就会知道）。您可能需要手动进行最后的清理（希望您没有数千个传感器）。

（另外，我会派一名实习生或研究生到现场，找出传感器出了什么问题并修复它们。）

【讨论】：