【发布时间】：2019-11-26 05:29:09
【问题描述】：
如下文所述： Create multiple columns based on multiple column conditions from another dataframe
我能够获得所需的输出，但是当我使用大文件运行脚本时出现内存错误， 有没有办法在上述帖子中提供的相同解决方案中克服此内存错误？如果没有，在不遇到内存错误的情况下实现结果的最佳方法是什么
再次添加完整的详细信息：
我有 2 个来自 csv 文件的数据帧 df1
|BID |Datetime |TrId |Code|LineNumber|Vol |Grade |PId
0|1002867|2019-08-19 01:27:53|1459 |f |10 |33.88|Vd |4
1|1002867|2019-08-19 01:39:05|1460 |f |10 |18.13|EE |5
2|1002867|2019-08-19 01:39:55|1461 |f |10 |21.8 |Ad |9
3|1002867|2019-08-19 01:39:55|1461 |f |20 |500 |Vd |10
4|1002147|2019-08-19 01:26:21|2764 |f |10 |33.86|V9 |3
5|1002147|2019-10-19 01:31:57|2765 |f |10 |3.48 |V9 |2
9|1001257|2019-08-19 01:49:54|11524|f |10 |19.93|Ul |5
df2
|sId |BID |StartDateTime |EndDateTime
0|10007|1002867|2019-07-26 05:11:05|2019-10-05 21:50:55
1|10006|1002147|2019-08-18 05:11:05|2019-10-05 21:50:55
2|10006|1002147|2019-10-05 21:50:55|2019-11-06 21:50:28
3|10006|1002147|2019-10-06 21:50:28|2019-10-08 03:56:20
4|10006|1002147|2019-10-08 03:56:20|2019-10-09 03:50:35
5|10006|1002147|2019-10-09 03:50:35|2019-10-10 05:12:30
6|10006|1002147|2019-10-10 05:12:30|2019-10-11 05:12:38
7|10009|1002348|2019-09-26 04:21:12|2019-10-06 04:16:00
8|10009|1002348|2019-10-06 04:16:00|2019-10-07 04:11:38
9|10009|1002348|2019-10-07 04:11:38|2019-10-08 04:13:12
请注意，两个数据帧的长度不同
仅当满足以下条件时，我想将列 sId、StartDateTime 和 EndDateTime 从 df2 添加到 df1：
如果 df1.BID = df2.BID 和 df1.DateTime 在 df2.StartDateTime 和 df2.EndDatetime 之间
我的结果应该是这样的：
|BID |Datetime |TrId |Code|LineNumber|Vol |Grade |PId|sId |StartDateTime |EndDateTime
0|1002867|2019-08-19 01:27:53|1459 |f |10 |33.88|Vd |4 |10007|2019-07-26 05:11:05|2019-10-05 21:50:55
1|1002867|2019-08-19 01:39:05|1460 |f |10 |18.13|EE |5 |10007|2019-07-26 05:11:05|2019-10-05 21:50:55
2|1002867|2019-08-19 01:39:55|1461 |f |10 |21.8 |Ad |9 |10007|2019-07-26 05:11:05|2019-10-05 21:50:55
3|1002867|2019-08-19 01:39:55|1461 |f |20 |500 |Vd |10 |10007|2019-07-26 05:11:05|2019-10-05 21:50:55
4|1002147|2019-08-19 01:26:21|2764 |f |10 |33.86|V9 |3 |10006|2019-08-18 05:11:05|2019-10-05 21:50:55
5|1002147|2019-10-19 01:31:57|2765 |f |10 |3.48 |V9 |2 |10006|2019-10-05 21:50:55|2019-11-06 21:50:28
9|1001257|2019-08-19 01:49:54|11524|f |10 |19.93|Ul |5 |NA |NA |NA
我尝试过使用这篇文章中的方法： Create column based on multiple column conditions from another dataframe
但是，我在结果中只得到站点 ID，而不是 StartDateTime 和 EndDateTime 我怎样才能在我的结果中获得这些列
尝试过的代码：
for key, grp in df2.groupby('sId'):
cols = ['BID', 'StartDateTime', 'EndDateTime']
masks = (df1['BID'].eq(bid) & df1['Datetime'].between(start, end) for bid, start, end in grp[cols].itertuples(index=False))
df1.loc[pd.concat(masks, axis=1).any(1), 'sId'] = key
df1['sId'] = df1['sId'].fillna('NA')
print(df1)
仅打印出来：
|BID |Datetime |TrId |Code|LineNumber|Vol |Grade |PId|sId
0|1002867|2019-08-19 01:27:53|1459 |f |10 |33.88|Vd |4 |10007
1|1002867|2019-08-19 01:39:05|1460 |f |10 |18.13|EE |5 |10007
2|1002867|2019-08-19 01:39:55|1461 |f |10 |21.8 |Ad |9 |10007
3|1002867|2019-08-19 01:39:55|1461 |f |20 |500 |Vd |10 |10007
4|1002147|2019-08-19 01:26:21|2764 |f |10 |33.86|V9 |3 |10006
5|1002147|2019-10-19 01:31:57|2765 |f |10 |3.48 |V9 |2 |10006
9|1001257|2019-08-19 01:49:54|11524|f |10 |19.93|Ul |5 |NA
如前所述，以下适用于少量数据：
df3 = pd.merge(df1, df2, on='BID', how="left")
result = df3[df3['Datetime'].between(df3.StartDateTime, df3.EndDateTime) | df3.sId.isna()]
但是对大文件使用这个会引发内存错误
【问题讨论】：
-
你能再次分享数据吗，最好是全部？还请包括所有相关代码。请参阅：minimal reproducible example。
-
@Alexander Cécile 我已经编辑了我的问题