在 pandas 中快速有效地用历史平均值填充缺失数据

Question

我正在处理一个包含 50 万个观测值的大型面板数据集（纵向数据）。目前，我正在尝试使用每个变量直到时间 t 的平均值来填充缺失的数据（最多 30% 的观察值）。 （我不使用总体平均值填充数据的原因是为了避免因使用仅在以后某个时间点可用的数据而产生的前瞻性偏差。）

我编写了以下函数来完成这项工作，但运行速度非常慢（500k 行需要 5 小时！！）一般来说，我发现在 Pandas 中填充缺失的数据是一项繁琐的计算任务。 请告诉我您通常如何填充缺失值，以及如何使其快速运行

用直到时间“t”的平均值填充的函数：

def meanTillTimeT(x,cols):
    start = time.time()
    print('Started')
    x.reset_index(inplace=True)
    for i in cols:
        l1 =[]
        for j in range(x.shape[0]):
            if x.loc[j,i] !=0 and np.isnan(x.loc[j,i]) == False :
                l1.append(x.loc[j,i])
            elif np.isnan(x.loc[j,i])==True :
                x.loc[j,i]=np.mean(l1)      
    end = time.time()
    print("time elapsed:", end - start)
    return x

Answer 1

让我们构建一个 DataFrame 进行说明：

import pandas as pd
import numpy as np

df = pd.DataFrame({"value1": [1, 2, 1, 5, np.nan, np.nan, 8, 3],
                   "value2": [0, 8, 1, np.nan, np.nan, 8, 9, np.nan]})

这是数据框：

      value1  value2
   0     1.0     0.0
   1     2.0     8.0
   2     1.0     1.0
   3     5.0     NaN
   4     NaN     NaN
   5     NaN     8.0
   6     8.0     9.0
   7     3.0     NaN

现在，我建议首先使用pandas.DataFrame.cumsum 计算累积总和以及非NaN 值的数量，以便计算均值。之后，用这些方法填充 NaN 并将它们插入原始 DataFrame 就足够了。这两个操作都使用pandas.DataFrame.fillna，这将比 Python 循环快得多：

df_mean = df.cumsum() / (~df.isna()).cumsum()
df_mean = df_mean.fillna(method = "ffill")
df = df.fillna(value = df_mean)

结果是：

      value1  value2
   0    1.00     0.0
   1    2.00     8.0
   2    1.00     1.0
   3    5.00     3.0
   4    2.25     3.0
   5    2.25     8.0
   6    8.00     9.0
   7    3.00     5.2