填充大量/大块时间序列数据

Question

在时间序列数据中填充缺失值的最佳方法是什么。数据在工作时间内变化很大。大量数据丢失。

我尝试过回退、正向填充和平均技术来填充数据。我还尝试使用 pandas 包进行插值（线性、最近和多项式）。但是取得的结果并不是很有用。enter image description here

第一张图表显示了 4 月 6 日至 9 日左右的缺失数据。第二张图是在使用线性插值填充缺失值后绘制的。

填充此类数据的最佳方法是什么？恐怕线性插值最终会污染数据。

我读过一些关于卡尔曼滤波器的文章。不知道怎么用。

Answer 1

这实际上取决于缺失数据块的大小，但在某些情况下训练模型以预测缺失值可能会奏效。
除了使用linear regression，您还可以尝试使用其他模型，例如k-nn regression。此外，datawig 模块 (Github) 使用神经网络来学习机器学习模型，以便在表格中估算缺失值。

python中的卡尔曼滤波器可以在FilterPy模块中找到。有关更多信息，您可以阅读文档here。

此外，由于您有时间序列数据可供使用，您可以查看 ARIMA model 是否可以预测您的缺失值。