当一个数据框中只有一些日期存在于其他数据框中的其他两个日期之间时，如何连接两个数据框？

Question

我有两个数据框：

df_A = pd.DataFrame({'start_date':['2021-04-01 00:00:00','2021-05-01 00:00:00', '2021-05-02 00:00:00'],'end_date':['2021-04-01 00:11:00','2021-05-01 00:06:00', '2021-05-03 00:00:00'], 'eventname':['birthday', 'wedding', 'birthday'] })
df_B = pd.DataFrame({'event_date':['2021-04-01 00:06:00','2021-05-01 00:03:00', '2021-05-04 00:00:00'],'price':[100,200,500]})
df_A['end_date'] = pd.to_datetime(df_A.end_date)
df_A['start_date'] = pd.to_datetime(df_A.start_date)
df_B['event_date'] = pd.to_datetime(df_B.event_date)

df_A

    start_date  end_date    eventname
0   2021-04-01  2021-04-01 00:11:00 birthday
1   2021-05-01  2021-05-01 00:06:00 wedding
2   2021-05-02  2021-05-03 00:00:00 birthday

df_B

event_date  price
0   2021-04-01 00:06:00 100
1   2021-05-01 00:03:00 200
2   2021-05-04 00:00:00 500

我想加入它们，使 event_date 列位于 df_A 的 start_date 和 end_date 列之间。这是我的代码：

df_A.index = pd.IntervalIndex.from_arrays(df_A['start_date'],df_A['end_date'],closed='both')
df_B['start_date'] = df_B['event_date'].apply(lambda x : df_A.iloc[df_A.index.get_loc(x)]['start_date'])
df_B

但是，由于 df_B 的 event_date 列上的某些值不在 df_A 中的任何 start_date 和 end_date 列之间，我得到了一个键错误。

这是我的预期输出：

event_date  price   start_date
0   2021-04-01 00:06:00 100 2021-04-01
1   2021-05-01 00:03:00 200 2021-05-01
2   2021-05-04 00:00:00 500 NaN

我尝试使用交集，但只有当值完全相等时才有效。我该怎么做？

Answer 1

如果您可以避免非等连接，那么就这样做；使用分桶技术，类似于@Corralien 的优秀答案，其中箱不重叠（更快/更有效）。如果可能的话，另一种选择是找到一种引入合并连接的方法，并且可能合并您的最终输出 -> 步骤可能会更长，但是，我觉得如果做得正确，它会比非等连接更有效。但是，如果您只关心第一场比赛，那么pd.merge_asof 就足够了。

回到问题：

一种选择是通过conditional_join 来自pyjanitor：

# pip install pyjanitor
import pandas as pd
import janitor

(df_A.conditional_join(
       df_B,  
       # column from left frame, column from right frame, comparision operator
       ('start_date', 'event_date', '<='), 
       ('end_date', 'event_date', '>='), 
       how = 'right')
   .filter(['event_date', 'price', 'start_date'])
)

           event_date  price start_date
0 2021-04-01 00:06:00    100 2021-04-01
1 2021-05-01 00:03:00    200 2021-05-01
2 2021-05-04 00:00:00    500        NaT

它的作用是将df_A 中的列与df_B 进行比较：

('start_date', 'event_date', '<=') 表示检查来自df_A 的start_date 是否是来自df_B 的<= event_date。相同的概念适用于其他条件。这里的参数是变量args，意思是可以传递尽可能多的条件。列的类型必须相同（浮点数与浮点数、整数与整数、日期与日期……）。

在底层，它使用二进制搜索来寻找非 equi 连接（主要是为了避免笛卡尔连接，随着数据帧大小的增长，这可能会降低内存效率）；对于这种情况下的范围连接，它使用简单的搜索来减少搜索空间以获取匹配的行。

该函数可以处理重叠索引，以及范围连接涉及两个不同列的场景 -> a < b and c > d。

您可以查看更多示例here

Answer 2

如果您的 start_date 和 end_date 不重叠，请创建一个区间索引并合并您的两个数据框：

bins = pd.IntervalIndex.from_arrays(df_A['start_date'], 
                                    df_A['end_date'],
                                    closed='both')

out = df_B.assign(interval=pd.cut(df_B['event_date'], bins)) \
          .merge(df_A.assign(interval=bins), on='interval', how='left')

print(out[['event_date', 'price', 'start_date']])

# Output:
           event_date  price start_date
0 2021-04-01 00:06:00    100 2021-04-01
1 2021-05-01 00:03:00    200 2021-05-01
2 2021-05-04 00:00:00    500        NaT