如何有效地填充时间序列？

Question

我的一般问题是我有一个数据框，其中列对应于特征值。数据框中还有一个日期列。每个特征列可能缺少 NaN 值。我想用一些填充逻辑填充一列，例如“fill_mean”或“填充零”。

但我不想只将填充逻辑应用于整个列，因为如果较早的值之一是 NaN，我不希望我为这个特定 NaN 填充的平均值被后来的平均值所污染on，什么时候模型应该不知道。本质上，这是一个常见问题，即不向您的模型泄露有关未来的信息 - 特别是在尝试填充我的时间序列时。

无论如何，我已将问题简化为几行代码。这是我对上述一般问题的简化尝试：

#assume ts_values is a time series where the first value in the list is the oldest value and the last value in the list is the most recent.
ts_values = [17.0, np.NaN, 12.0, np.NaN, 18.0]
nan_inds = np.argwhere(np.isnan(ts_values))
for nan_ind in nan_inds:
    nan_ind_value = nan_ind[0]
    ts_values[nan_ind_value] = np.mean(ts_values[0:nan_ind_value])

上述脚本的输出为：

[17.0, 17.0, 12.0, 15.333333333333334, 18.0]

这正是我所期望的。

我对此的唯一问题是，它与数据集中的 NaN 数量呈线性关系。有没有办法在我不迭代 nan 索引值的常量或日志时间内做到这一点。

Answer 1

如果您想在熊猫系列s 上将nan 值替换为滚动平均值（全窗口），请注意WeNYoBen 在填充期间不会继续滚动平均值计算。 （所以你的 15.3 变成了 12.0）。

s.fillna(s.expanding(1).mean())

如果您希望在 nans 被填充时更新滚动平均值，这个就地 numba 解决方案可能会有所帮助

import numpy as np
import numba
from numba import jit


@jit(nopython=True)
def rolling_fill(a): 
    for i, e in enumerate(a):
        if np.isnan(e):
            a[i] = np.mean(a[:i])

ts_values = np.array([17.0, np.NaN, 12.0, np.NaN, 18.0])
rolling_fill(ts_values)
print(ts_values)

这给了

[17.         17.         12.         15.33333333 18.        ]

您可以通过保留总和而不是每次都调用.mean 来改善这一点。

时间复杂度

这不是log 或constant 时间，因为您必须从长度为n 的数组中插入最多n-2 缺失的项目@ 987654336@ - 但它应该被充分优化（通过避免在本机 python) 并且您不能 理论上 做得更好，但是上述的较低级别的实现将使这大大加快。

---

编辑：我最初误读并认为您在询问插值

你想interpolate这个系列，熊猫直接支持这个。

>>> s = pd.Series([0, 1, np.nan, 5])
>>> s
0    0.0
1    1.0
2    NaN
3    5.0
dtype: float64
>>> s.interpolate()
0    0.0
1    1.0
2    3.0
3    5.0
dtype: float64

或者如果您不想使用pandas，因为您的示例是ndarray，那么请相应地使用numpy.interp。