【问题标题】:Pandas fill dates熊猫填写日期
【发布时间】:2021-10-16 20:39:02
【问题描述】:

我有以下数据框,date 对应于季度期间,amount(以及其他为简化起见未在此处显示的其他列)对应于关联的 id 分组。每个 ID 的日期都是唯一的。

import pandas as pd
from numpy import nan
d = {'id': ['a', 'a', 'a', 'b', 'b'], 'date': ['2020-09-30', '2020-06-30', '2020-03-31', 
'2020-09-30', '2020-06-30'], 'amount': [1, 2, nan , 5, nan]}
df = pd.DataFrame(data=d)
df['date'] = pd.to_datetime(df['date'])
df
     id        date       amount
0     a     2020-09-30       1
1     a     2020-06-30       2
2     a     2020-03-31       
3     b     2020-09-30       5
4     b     2020-06-30     

我想通过过去设定的开始季度日期延长季度开始的时间段,以便季度期间开始并存在于每个 ID 的相同日期。在此示例中,数据应从 2019-12-31 开始,如果缺少该行,则应填写其间的任何四分之一。

我想根据最近的现值回填缺失的值(例如金额)。

输出如下所示:

     id        date       amount
     a     2020-09-30       1
     a     2020-06-30       2
     a     2020-03-31       2
     a     2019-12-31       2
     b     2020-09-30       5
     b     2020-06-30       5
     b     2020-03-31       5     
     b     2019-12-31       5   

最好的方法是什么?

【问题讨论】:

  • 下次请正确格式化您的问题

标签: python pandas dataframe date pandas-groupby


【解决方案1】:

您需要从 2019 年 12 月 31 日开始每三个月定义一个新的时间范围,并重新索引您的数据框。然后使用反向填充bfill 方法填充NaN 值。使用 cmets 参见下面的代码。

import pandas as pd

# Create the DataFrame according to your question
d = {'id': ['a', 'a', 'a', 'b', 'b'], 'date': ['2020-09-30', '2020-06-30', '2020-03-31', 
'2020-09-30', '2020-06-30'], 'amount': [1, 2, None, 5, None]}
df = pd.DataFrame(data=d)

# Transform date to datetime column
df['date'] = pd.to_datetime(df['date'])
# Set multiindex to (id, date) as they are the "unique keys" of your amount values
df.set_index(['id', 'date'], inplace=True)

# Define new period for the datetime index (every 3 months)
index = pd.date_range('2019-12-31', '2020-09-30', freq='3M')

# Reindex the Dataframe and fill NaNs with a backward method
print(df.reindex(pd.MultiIndex.from_product([df.index.get_level_values(0).unique(), index])).fillna(method='bfill'))


# Output
#                amount
# id                   
# a  2019-12-31     2.0
#    2020-03-31     2.0
#    2020-06-30     2.0
#    2020-09-30     1.0
# b  2019-12-31     5.0
#    2020-03-31     5.0
#    2020-06-30     5.0
#    2020-09-30     5.0

注意:需要设置包含id 列的多索引,因为您希望在不合并id 值a 和b 的情况下重新采样日期。

【讨论】:

    【解决方案2】:

    pyjanitor 中的 complete 函数提供了一种用于暴露缺失行的抽象:

    # pip install pyjanitor
    import pandas as pd
    import numpy as np
    # create a mapping of the new dates
    # reusing @scandav's index variable
    index = pd.date_range('2019-12-31', '2020-09-30', freq='3M')
    index = dict(date = index)
    (df.complete('id', index)
       .sort_values(['id', 'date'], ascending = [True, False])
       .ffill(downcast = 'infer')
    ) 
      id       date  amount
    0  a 2020-09-30       1
    1  a 2020-06-30       2
    2  a 2020-03-31       2
    5  a 2019-12-31       2
    3  b 2020-09-30       5
    4  b 2020-06-30       5
    7  b 2020-03-31       5
    6  b 2019-12-31       5
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-03-14
      • 1970-01-01
      • 1970-01-01
      • 2013-10-26
      相关资源
      最近更新 更多