如何使用fillna不传播最后一次有效观察但传播上周有效观察答案

【问题标题】：How to use fillna not to propagate last valid observation but to propagate last week valid observation如何使用fillna不传播最后一次有效观察但传播上周有效观察
【发布时间】：2021-08-02 17:49:05
【问题描述】：

这是我的数据集的摘录： Dataset

这里是一个数据集的例子

df = pd.DataFrame(
{'vals': np.where(np.arange(35) < 30, np.arange(35), np.nan)},
index=pd.date_range('2021-01-01', freq='12H', periods=35))

                    vals
2021-01-01 00:00:00 0.0
2021-01-01 12:00:00 1.0
2021-01-02 00:00:00 2.0
2021-01-02 12:00:00 3.0
2021-01-03 00:00:00 4.0
2021-01-03 12:00:00 5.0
2021-01-04 00:00:00 6.0
2021-01-04 12:00:00 7.0
2021-01-05 00:00:00 8.0
2021-01-05 12:00:00 9.0
2021-01-06 00:00:00 10.0
2021-01-06 12:00:00 11.0
2021-01-07 00:00:00 12.0
2021-01-07 12:00:00 13.0
2021-01-08 00:00:00 14.0
2021-01-08 12:00:00 15.0
2021-01-09 00:00:00 16.0
2021-01-09 12:00:00 17.0
2021-01-10 00:00:00 18.0
2021-01-10 12:00:00 19.0
2021-01-11 00:00:00 20.0
2021-01-11 12:00:00 21.0
2021-01-12 00:00:00 22.0
2021-01-12 12:00:00 23.0
2021-01-13 00:00:00 24.0
2021-01-13 12:00:00 25.0
2021-01-14 00:00:00 26.0
2021-01-14 12:00:00 27.0
2021-01-15 00:00:00 28.0
2021-01-15 12:00:00 29.0
2021-01-16 00:00:00 NaN
2021-01-16 12:00:00 NaN
2021-01-17 00:00:00 NaN
2021-01-17 12:00:00 NaN
2021-01-18 00:00:00 NaN

对于我想要的结果：

                        vals
    2021-01-01 00:00:00 0.0
    2021-01-01 12:00:00 1.0
    2021-01-02 00:00:00 2.0
    2021-01-02 12:00:00 3.0
    2021-01-03 00:00:00 4.0
    2021-01-03 12:00:00 5.0
    2021-01-04 00:00:00 6.0
    2021-01-04 12:00:00 7.0
    2021-01-05 00:00:00 8.0
    2021-01-05 12:00:00 9.0
    2021-01-06 00:00:00 10.0
    2021-01-06 12:00:00 11.0
    2021-01-07 00:00:00 12.0
    2021-01-07 12:00:00 13.0
    2021-01-08 00:00:00 14.0
    2021-01-08 12:00:00 15.0
    2021-01-09 00:00:00 16.0
    2021-01-09 12:00:00 17.0
    2021-01-10 00:00:00 18.0
    2021-01-10 12:00:00 19.0
    2021-01-11 00:00:00 20.0
    2021-01-11 12:00:00 21.0
    2021-01-12 00:00:00 22.0
    2021-01-12 12:00:00 23.0
    2021-01-13 00:00:00 24.0
    2021-01-13 12:00:00 25.0
    2021-01-14 00:00:00 26.0
    2021-01-14 12:00:00 27.0
    2021-01-15 00:00:00 28.0
    2021-01-15 12:00:00 29.0
    2021-01-16 00:00:00 16.0
    2021-01-16 12:00:00 17.0
    2021-01-17 00:00:00 18.0
    2021-01-17 12:00:00 19.0
    2021-01-18 00:00:00 20.0

我的问题：

我想用一周前观察到的同一列中的值填充 NaN 值。

df.fillna(method='ffill') 没有帮助，因为它根据最后一个值填充。有什么想法吗？

【问题讨论】：

请花点时间阅读"How to create a Minimal, Reproducible Example"
您的意思是，例如，如果您在星期二遗漏了一个值，您想从最近观察到的星期二值中进行填充，而不管是否有其他最近的观察结果？
谢谢 Corralien，我去看看。
感谢米歇尔的提问和澄清。我的意思是，如果您在周二 8:00 错过了一个值，我想从最近观察到的周二 8:00 值中进行填充，无论是否有其他最近的观察结果。
我编辑了最初的问题。

标签： pandas dataframe fillna

【解决方案1】：

带有缺失值和日期时间索引的 DataFrame 的简单示例：

In [2]: df = pd.DataFrame(
   ...:     {'vals': np.where(np.arange(21) < 14, np.arange(21), np.nan)},    
   ...:     index=pd.date_range('2021-01-01', freq='D', periods=21),
   ...: )
   ...:

In [3]: df
Out[3]:
            vals
2021-01-01   0.0
2021-01-02   1.0
2021-01-03   2.0
2021-01-04   3.0
2021-01-05   4.0
2021-01-06   5.0
2021-01-07   6.0
2021-01-08   7.0
2021-01-09   8.0
2021-01-10   9.0
2021-01-11  10.0
2021-01-12  11.0
2021-01-13  12.0
2021-01-14  13.0
2021-01-15   NaN
2021-01-16   NaN
2021-01-17   NaN
2021-01-18   NaN
2021-01-19   NaN
2021-01-20   NaN
2021-01-21   NaN

您可以在工作日使用 pandas datetime components 进行分组，然后使用 ffill 在每个组内转发填充：

In [4]: df.groupby(df.index.weekday).ffill()
Out[4]:
            vals
2021-01-01   0.0
2021-01-02   1.0
2021-01-03   2.0
2021-01-04   3.0
2021-01-05   4.0
2021-01-06   5.0
2021-01-07   6.0
2021-01-08   7.0
2021-01-09   8.0
2021-01-10   9.0
2021-01-11  10.0
2021-01-12  11.0
2021-01-13  12.0
2021-01-14  13.0
2021-01-15   7.0
2021-01-16   8.0
2021-01-17   9.0
2021-01-18  10.0
2021-01-19  11.0
2021-01-20  12.0
2021-01-21  13.0

【讨论】：

谢谢，这有帮助。但是是否可以通过 df.index.weekday 和 hour_of_day 来抱怨？还是这样的？
是的，你可以group by two columns。
data_brut=data_brut.groupby([data_brut.index.hour,data_brut.index.dayofweek]).ffill() 完美运行，非常感谢！！祝你有美好的一天:)