使用前向填充为缺少的日期添加每个 ID 的每日数据答案

【问题标题】：Add daily data for every ID using forward fill for missing dates使用前向填充为缺少的日期添加每个 ID 的每日数据
【发布时间】：2017-09-20 14:24:26
【问题描述】：

我有一个如下所示的 pandas 数据框：

    id   date    value  name
0   C1  2017-01-01  31  Company 1
1   C1  2017-01-02  35  Company 1
2   C1  2017-01-03  32  Company 1
3   C1  2017-01-06  36  Company 1
4   C1  2017-01-07  35  Company 1
5   C1  2017-01-08  34  Company 1
6   C1  2017-01-10  33  Company 1
7   C2  2017-01-01  225 Company 2
8   C2  2017-01-02  223 Company 2
9   C2  2017-01-03  223 Company 2
10  C2  2017-01-06  220 Company 2
11  C2  2017-01-07  222 Company 2
12  C2  2017-01-08  225 Company 2
13  C2  2017-01-10  224 Company 2
14  C3  2017-01-08  340 Company 3

对于此数据框，日期的范围是 start_date 2017-01-01 和 end_date 2017-01-10，包括两者。这就是这两个日期之间的所有数据。

我想为缺少的日期添加新行。例如对于 id C1，2017-01-04,2017-01-05,2017-01-09value 列中存在缺失值/strong> 和新行应添加如下 0 在 value 列。

 C1 2017-01-04 0 Company1
 C1 2017-01-05 0 Company1
 C1 2017-01-09 0 Company1

C2 类似，2017-01-04,2017-01-05,2017-01-09 的 value 列中存在缺失值 和 C3 缺少 2017-01-01 到 2017-01-07 和 2017-01-09,2017-01-10 的值

我正在努力弄清楚如何使用 pandas 执行添加这些行的操作。所以，只是寻求一些帮助。

【问题讨论】：

每个 id 的 name 列是否始终相同？例如，对于 C1 company 1，对于 C2 company 2？
是的。没错。
做出如下回答。希望对您有所帮助。

标签： python date pandas

【解决方案1】：

一种选择是使用pandas.date_range 创建您想要完成的所有日期，然后您可以在完整日期之间进行外部连接，每个子数据框都以 date 列为键，最后用0填充缺失值：

# create complete dates
dates = pd.DataFrame({"date": pd.date_range("2017-01-01", "2017-01-10")})

# convert date column to date time if it's not already
df['date'] = pd.to_datetime(df.date)

# merge complete dates with each sub data frame separately using groupby.apply
(df.groupby(['id', 'name'])['date', 'value']
 .apply(lambda g: g.merge(dates, how="outer"))
 .fillna(0)
 .reset_index(level=[0,1])
 .reset_index(drop=True))

#   id       name        date   value
#0  C1  Company 1   2017-01-01  31.0
#1  C1  Company 1   2017-01-02  35.0
#2  C1  Company 1   2017-01-03  32.0
#3  C1  Company 1   2017-01-06  36.0
#4  C1  Company 1   2017-01-07  35.0
#5  C1  Company 1   2017-01-08  34.0
#6  C1  Company 1   2017-01-10  33.0
#7  C1  Company 1   2017-01-04  0.0
#8  C1  Company 1   2017-01-05  0.0
#9  C1  Company 1   2017-01-09  0.0
# ...

【讨论】：