使用低频数据校准高频数据答案

【问题标题】：Using low frequency data to calibrate high frequency data使用低频数据校准高频数据
【发布时间】：2016-07-26 16:16:50
【问题描述】：

我有一个由快速仪器测量的 10 Hz 时间序列和一个由慢速参考仪器测量的 1 分钟时间序列。数据由波动的气象参数组成。慢速参考仪器用于校准快速仪器测量。两个时间序列是同步的。

我的想法：

使用低频数据匹配（校准）高频数据的最佳方法是什么？我使用 MATLAB。

更多背景信息：快速仪器输出波动的电压信号，而慢速仪器输出以 ppb（十亿分之几）为单位的痕量气体浓度的真实值。慢速仪器每十秒采样一次，每分钟输出一次平均值。

简而言之，我希望我的快速信号也以 ppb 为单位，但不会失去其完整性（我需要湍流波动保持未过滤），因此需要使用线性拟合。

【问题讨论】：

校准是什么意思？你想对它应用相同的回归函数吗？
@GameOfThrows，我认为嗡嗡声想要的是类似：RefInstrumentData = RegFactor*NewInstrumentData + C 其中 C 可能是系统错误。
在我们解决问题之前的嗡嗡声：您确定两种工具之间的相关性是线性的吗？如果您在 1 分钟内取 10 Hz 仪器的平均值，请注意，您希望在同一时间（理想情况下）比较相同的参数！
@obchardon 当他说匹配时，我认为他试图比较不同频率的 2 个向量的相似程度（这就是为什么我认为他正在寻找比较每个向量的线性回归）。我想我的问题是他在寻找什么样的结果，一个 RMSE 或你建议的 RegFactor 和 C。
@GameofThrows 两种工具的时间戳是完美同步的，例如快速仪器的 1205 与慢速仪器的 1205 一致 - 唯一的区别是快速仪器提供样本，而慢速仪器提供 10 秒样本的一分钟平均值。最后，等式应该是 Fast_signal_ppb =regfactor*Fast_signal_mV+ regOffset，其中 regfactor 和 regOffset 来自快速数据和慢速数据之间的线性拟合。 m 的单位是 mV/ppb

【解决方案1】：

这是我的方法和我得到的结果......

我将问题建模为存在

任务是获取慢速和快速信号并尝试重建真实信号。（使用最小二乘作为评分指标）

策略：

定义一个“分段线性滤波器” - 这需要一个信号，并返回它的分段版本。（每个分段部分都出现在测量慢信号的地方。）
注意：慢速信号无论如何都被认为是分段的。
定义一个前后低通滤波器。
在测量低频信号的点处将“不确定性”定义为 0。当时间戳位于低频信号测量值的中间时，它会线性增加到 1。
现在，获取高频信号并使用低通滤波器对其进行滤波。让我们称之为hf_lp
获取 hf_lp 并对其应用“分段线性滤波器”。让我们称之为hf_lp_pl
最后两个相减。 IE。 hf_diff = hf_lp - hf_lp_pl。
您现在想要找到一些函数来估计应将多少 hf_diff 添加到低频信号 (lf) 以使 real_estimated 和 real 之间的平方误差最小化。我按照real_estimated = lf + diff.*(a1*uncertainty + a2*uncertainty.^2 + a3*uncertainty.^3) 的方式安装了一个函数
使用fminsearch或其他优化技术得到a1、a2、a3...

这是我的结果的示例图 - 您可以看到 real_estimated 比慢信号 lf 更接近 real。

【讨论】：

非常感谢您的精心投入。请查看我添加到问题中的其他背景信息。我想避免过滤快速信号 - 我可以通过您的策略实现这一点吗？
我相信它应该。在 pastebin/github/etc 的某个地方给我一些数据，我会看看我的代码处理得如何......关于过滤，我将删除过滤器部分并保留回归部分。
为了使事情更容易可视化，我将快速仪器缩放为与慢速仪器具有相同的均值和标准差。结果如下：imgur.com/xchbEWw。从数据看来，您的快速仪器噪音太大，无法提供有价值的贡献:(。它只会让数据“看起来”更真实。
非常感谢。我感谢您花费的时间和精力。我希望这个解决方案能帮助其他面临类似问题的人。 “噪音”是预期的（也是必需的），因为它代表了湍流条件下气相反应的结果。