多列上的 Pandas merge_asof

Question

我有两个数据框：

DF1：

StartDate      Location

2013-01-01     20000002
2013-03-01     20000002
2013-08-01     20000002
2013-01-01     20000003
2013-03-01     20000003
2013-05-01     20000003
2013-01-01     20000043

DF2：

EmpStartDate   Location

2012-12-17     20000002.0 
2013-02-25     20000002.0 
2013-06-26     20000002.0 
2012-09-24     20000003.0 
2013-01-07     20000003.0 
2013-07-01     20000043.0

我想要 DF2 的计数，其中 DF1.Location = DF2.Location 和 DF2.EmpStartDate

输出：

StartDate      Location   Count

2013-01-01     20000002   1
2013-03-01     20000002   2
2013-08-01     20000002   3
2013-01-01     20000003   1
2013-03-01     20000003   2
2013-05-01     20000003   2
2013-01-01     20000043   0

我在 DF2.EmpStartDate 和 DF1.StartDate 上使用 merge_asof，然后在 Location 和 StartDate 上进行分组以实现此目的。 但是我得到的结果不正确，因为我只在日期列上合并。我需要合并 Location 和 Date 列上的数据框。看起来 merge_asof 不支持合并多个列。如何合并不同位置组的日期列？

Answer 1

merge_asof 保持left DataFrame 的大小，所以它不能将left 中的同一行匹配到right 中的多行。

一种简单但内存效率低的计算方法是在Location 上执行一个大的merge，然后计算有多少行有df.EmpStartDate < df.StartDate

df = df1.merge(df2)
(df.assign(Count = df.EmpStartDate < df.StartDate)
   .groupby(['StartDate', 'Location'])
   .Count.sum()
   .astype('int')
   .reset_index())

输出：

   StartDate  Location  Count
0 2013-01-01  20000002      1
1 2013-01-01  20000003      1
2 2013-01-01  20000043      0
3 2013-03-01  20000002      2
4 2013-03-01  20000003      2
5 2013-05-01  20000003      2
6 2013-08-01  20000002      3

Answer 2

让我们使用这个：

df1.merge(df2, on='Location')\
   .query('EmpStartDate <= StartDate')\
   .groupby(['StartDate','Location'])['EmpStartDate']\
   .count()\
   .reindex(df1, fill_value=0)\
   .rename('Count')\
   .reset_index()

输出：

   StartDate  Location  Count
0 2013-01-01  20000002      1
1 2013-03-01  20000002      2
2 2013-08-01  20000002      3
3 2013-01-01  20000003      1
4 2013-03-01  20000003      2
5 2013-05-01  20000003      2
6 2013-01-01  20000043      0