填充列组合的缺失日期答案

【问题标题】：Filling Missing Dates for a combination of columns填充列组合的缺失日期
【发布时间】：2019-07-22 17:02:15
【问题描述】：

我有一个数据框 3 列一个日期，2 个对象列。我需要使用数据框的最大和最小日期来填充不同 col1 和 col 2 组合的缺失日期。日期列仅包含每个月的第一天。

我使用幼稚的方式完成了它，但原始数据有数千个或记录需要大量时间来迭代所有 COL1+COL2 组合、日期范围。原始数据框包含 15000 条记录和 30 列。我需要填写缺失的日期 + col1 + col2，然后将所有列保留为空值。如果我有 2019 年 1 月的 col1+col2 组合的数据，但没有 2 月的数据，我实际上想插入 feb、col1、col2，其他记录为空。

从原始数据帧到填充后应该有相等的唯一组合（COL1 + COL2）。前后组合数相同

请帮我优化一下。

df_1 = pd.DataFrame({'Date':['2018-01-01','2018-02-01','2018-03-01','2018-05-01','2018-05-01'],
          'COL1':['A','A','B','B','A'],
          'COL2':['1','2','1','2','1']})
df_1['Date'] = pd.to_datetime(df_1['Date'])



Initial Dataframe -->> 
         Date COL1 COL2
0 2018-01-01    A    1
1 2018-02-01    A    2
2 2018-03-01    B    1
3 2018-05-01    B    2
4 2018-05-01    A    1

print(df_1.dtypes)

print(df_1)

COLS_COMBO = [i for i in list(set(list(df_1[['COL1','COL2']].itertuples(name='',index=False))))]
months_range = [str(i.date()) for i in list(pd.date_range(start=min(df_1['Date']).date(), 
                   end=max(df_1['Date']).date(), freq='MS'))]

print(COLS_COMBO)

print(months_range)

for col in COLS_COMBO:
    col1,col2 = col[0], col[1]
    for month in months_range:
        d = df_1[(df_1['Date'] == month) & (df_1['COL1'] == col1) & (df_1['COL2'] == col2)]
        if len(d) == 0:
            dx = {'Date':month,'COL1':col1,'COL2':col2}
            df_1 = df_1.append(dx, ignore_index=True)

print(df_1)

输出

Data TYPES -->> 


Date    datetime64[ns]
COL1            object
COL2            object
dtype: object


Unique COmbinations of COL1 + COL2 -->> 
 [('A', '2'), ('B', '2'), ('B', '1'), ('A', '1')]

Months range using min, max in the dataframe -->> 
 ['2018-01-01', '2018-02-01', '2018-03-01', '2018-04-01', '2018-05-01']

我的最终输出是

FINAL Dataframe -->> 

          Date COL1 COL2
0  2018-01-01    A    1
1  2018-02-01    A    2
2  2018-03-01    B    1
3  2018-05-01    B    2
4  2018-05-01    A    1
5  2018-01-01    A    2
6  2018-02-01    A    2
7  2018-03-01    A    2
8  2018-04-01    A    2
9  2018-05-01    A    2
10 2018-01-01    B    2
11 2018-02-01    B    2
12 2018-03-01    B    2
13 2018-04-01    B    2
14 2018-05-01    B    2
15 2018-01-01    B    1
16 2018-02-01    B    1
17 2018-03-01    B    1
18 2018-04-01    B    1
19 2018-05-01    B    1
20 2018-01-01    A    1
21 2018-02-01    A    1
22 2018-03-01    A    1
23 2018-04-01    A    1
24 2018-05-01    A    1

PS：

COL1 就像父级 COL2 是子级一样。因此，原始组合应该没有变化，并且 (date+col1+col2) 组合不应该被复制/更新（如果存在）。

【问题讨论】：

是否应该存在重复：索引 0 和索引 20？
没有重复。只有月/日+col1+col2 的一种组合。谢谢
@Chris 我不知道这是怎么来的。我没有搜索组合吗？哎呀，我没有用日期过滤日期，我认为它是字符串。
@niteeshk 你能在你的实际df中告诉我，COL1有多少个唯一值？ COL2 有多少个唯一值，日期字段涵盖多少个月？

标签： python pandas

【解决方案1】：

你可以使用：

from  itertools import product

#get all unique combinations of columns
COLS_COMBO = df_1[['COL1','COL2']].drop_duplicates().values.tolist()
#remove times and create MS date range
dates = df_1['Date'].dt.floor('d')
months_range = pd.date_range(dates.min(), dates.max(), freq='MS')
print(COLS_COMBO)
print(months_range)

#create all combinations of values
df = pd.DataFrame([(c, a, b) for (a, b), c in product(COLS_COMBO, months_range)], 
                   columns=['Date','COL1','COL2'])
print (df)
         Date COL1 COL2
0  2018-01-01    A    1
1  2018-02-01    A    1
2  2018-03-01    A    1
3  2018-04-01    A    1
4  2018-05-01    A    1
5  2018-01-01    A    2
6  2018-02-01    A    2
7  2018-03-01    A    2
8  2018-04-01    A    2
9  2018-05-01    A    2
10 2018-01-01    B    1
11 2018-02-01    B    1
12 2018-03-01    B    1
13 2018-04-01    B    1
14 2018-05-01    B    1
15 2018-01-01    B    2
16 2018-02-01    B    2
17 2018-03-01    B    2
18 2018-04-01    B    2
19 2018-05-01    B    2

#add to original df_1 and remove duplicates
df_1 = pd.concat([df_1, df], ignore_index=True).drop_duplicates()
print (df_1)
         Date COL1 COL2
0  2018-01-01    A    1
1  2018-02-01    A    2
2  2018-03-01    B    1
3  2018-05-01    B    2
4  2018-05-01    A    1
6  2018-02-01    A    1
7  2018-03-01    A    1
8  2018-04-01    A    1
10 2018-01-01    A    2
12 2018-03-01    A    2
13 2018-04-01    A    2
14 2018-05-01    A    2
15 2018-01-01    B    1
16 2018-02-01    B    1
18 2018-04-01    B    1
19 2018-05-01    B    1
20 2018-01-01    B    2
21 2018-02-01    B    2
22 2018-03-01    B    2
23 2018-04-01    B    2

【讨论】：