如何用插值替换熊猫df中的值

Question

我有一个数据框 df，看起来像这样

print(df)
x     outlier_flag
10    1
NaN   1
30    1
543  -1
50    1

我想用row['A][i-1] 和row['A][i+1] 之间的插值替换标有outlier_flag==-1 的值，这意味着我想用40 替换显示的错误值543。

我能做的是

df['x'] = df.apply(lambda row: np.nan if row['outlier_flag']==-1 else row['x'], axis=1)
df.interpolate(method='polynomial', order=3, inplace=True)

但我不想这样做，因为这也会在df['x'] 中插入未标记outlier_flag==-1 的nan 值（请参阅第二行）！纯nan 值，未标记标志，我想保留为nan 用于稍后的任务。

那么，有没有办法进行适当的插值，即使对于像 543 这样不是 nan 的值？

我试过了

df['x'] = df.apply(lambda row: row['x'].interpolate(method='polynomial', order=3) if row['outlier_flag']==-1 else row['x'], axis=1)

但这会引发错误，因为只有nan 可以被插值，而543 是int。你对我有什么建议吗？天呐

Answer 1

这是一种您可以按照自己的意愿使用interpolate() 的方式。

您可以先创建一个列表，其中包含异常标志中具有 -1 的行的索引，然后使用 loc 将 x 中的值替换为 np.nan：

incl = df.index[df['outlier_flag'] == -1].tolist()
df.loc[df.index.isin(incl), 'x'] = np.nan

>>> df
      x  outlier_flag
0  10.0             1
1   NaN             1
2  30.0             1
3   NaN            -1
4  50.0             1

然后，您可以使用 np.where 检查 x isnull() 是否以及该特定索引是否在您创建的列表中，并应用您的插值：

df['x']= np.where( (df['x'].isnull()) & (df.index.isin(incl)), df['x'].interpolate(),df['x'])

哪些打印：

      x  outlier_flag
0  10.0             1
1   NaN             1
2  30.0             1
3  40.0            -1
4  50.0             1

Answer 2

使用np.where:

df['x'] =  np.where(df['outlier_flag'] == -1, (df['x'].shift(1) + df['x'].shift(-1))/2, df['x'])
print(df)

      x  outlier_flag
0  10.0             1
1   NaN             1
2  30.0             1
3  40.0            -1
4  50.0             1