这篇文章旨在为读者提供 SQL 风格与 Pandas 合并的入门知识,如何使用它以及何时不使用它。
特别是,本文将介绍以下内容:
-
基础 - 连接类型(左、右、外、内)
- 与不同的列名合并
- 与多列合并
- 避免输出中出现重复的合并键列
这篇文章(以及我在这个线程上的其他帖子)不会经过:
- 与性能相关的讨论和时间安排(目前)。在适当的情况下,主要提到了更好的替代方案。
- 处理后缀、删除多余的列、重命名输出和其他特定用例。还有其他(阅读:更好的)帖子可以解决这个问题,所以弄清楚吧!
注意
大多数示例在演示各种功能时默认使用 INNER JOIN 操作,除非另有说明。
此外,这里的所有 DataFrame 都可以复制和复制,所以
你可以和他们一起玩。另见this
post
关于如何从剪贴板中读取 DataFrame。
最后,JOIN 操作的所有可视化表示都是使用 Google 绘图手绘的。灵感来自here。
说够了 - 告诉我如何使用merge!
设置与基础
np.random.seed(0)
left = pd.DataFrame({'key': ['A', 'B', 'C', 'D'], 'value': np.random.randn(4)})
right = pd.DataFrame({'key': ['B', 'D', 'E', 'F'], 'value': np.random.randn(4)})
left
key value
0 A 1.764052
1 B 0.400157
2 C 0.978738
3 D 2.240893
right
key value
0 B 1.867558
1 D -0.977278
2 E 0.950088
3 F -0.151357
为简单起见,键列具有相同的名称(目前)。
INNER JOIN由
表示
注意
这和即将到来的数字都遵循这个约定:
-
蓝色表示合并结果中存在的行
-
红色表示从结果中排除(即删除)的行
-
绿色表示在结果中被
NaNs 替换的缺失值
要执行 INNER JOIN,请在左侧 DataFrame 上调用 merge,指定右侧 DataFrame 和连接键(至少)作为参数。
left.merge(right, on='key')
# Or, if you want to be explicit
# left.merge(right, on='key', how='inner')
key value_x value_y
0 B 0.400157 1.867558
1 D 2.240893 -0.977278
这仅返回来自left 和right 的行,它们共享一个公共键(在本例中为“B”和“D”)。
LEFT OUTER JOIN,或 LEFT JOIN 表示为
这可以通过指定how='left'来执行。
left.merge(right, on='key', how='left')
key value_x value_y
0 A 1.764052 NaN
1 B 0.400157 1.867558
2 C 0.978738 NaN
3 D 2.240893 -0.977278
仔细注意此处 NaN 的位置。如果您指定how='left',则仅使用来自left 的键,而来自right 的缺失数据将被NaN 替换。
同样,对于 RIGHT OUTER JOIN,或 RIGHT JOIN 是...
...指定how='right':
left.merge(right, on='key', how='right')
key value_x value_y
0 B 0.400157 1.867558
1 D 2.240893 -0.977278
2 E NaN 0.950088
3 F NaN -0.151357
这里使用来自right 的键,来自left 的缺失数据被NaN 替换。
最后,对于 FULL OUTER JOIN,由
给出
指定how='outer'。
left.merge(right, on='key', how='outer')
key value_x value_y
0 A 1.764052 NaN
1 B 0.400157 1.867558
2 C 0.978738 NaN
3 D 2.240893 -0.977278
4 E NaN 0.950088
5 F NaN -0.151357
这使用两个帧中的键,并为两个帧中的缺失行插入 NaN。
文档很好地总结了这些不同的合并:
其他 JOIN - LEFT-Excluding、RIGHT-Excluding 和 FULL-Excluding/ANTI JOIN
如果您需要分两步LEFT-Excluding JOIN和RIGHT-Excluding JOIN。
对于LEFT-Excluding JOIN,表示为
首先执行 LEFT OUTER JOIN,然后仅过滤(排除!)来自 left 的行,
(left.merge(right, on='key', how='left', indicator=True)
.query('_merge == "left_only"')
.drop('_merge', 1))
key value_x value_y
0 A 1.764052 NaN
2 C 0.978738 NaN
在哪里,
left.merge(right, on='key', how='left', indicator=True)
key value_x value_y _merge
0 A 1.764052 NaN left_only
1 B 0.400157 1.867558 both
2 C 0.978738 NaN left_only
3 D 2.240893 -0.977278 both
同样,对于 RIGHT-Excluding JOIN,
(left.merge(right, on='key', how='right', indicator=True)
.query('_merge == "right_only"')
.drop('_merge', 1))
key value_x value_y
2 E NaN 0.950088
3 F NaN -0.151357
最后,如果您需要进行合并,只保留左侧或右侧的键,但不能同时保留两者(IOW,执行 ANTI-JOIN),
你可以用类似的方式来做这件事——
(left.merge(right, on='key', how='outer', indicator=True)
.query('_merge != "both"')
.drop('_merge', 1))
key value_x value_y
0 A 1.764052 NaN
2 C 0.978738 NaN
4 E NaN 0.950088
5 F NaN -0.151357
键列的不同名称
如果键列的名称不同——例如,left 具有 keyLeft,right 具有 keyRight 而不是 key——那么您必须将 left_on 和 right_on 指定为参数而不是on:
left2 = left.rename({'key':'keyLeft'}, axis=1)
right2 = right.rename({'key':'keyRight'}, axis=1)
left2
keyLeft value
0 A 1.764052
1 B 0.400157
2 C 0.978738
3 D 2.240893
right2
keyRight value
0 B 1.867558
1 D -0.977278
2 E 0.950088
3 F -0.151357
left2.merge(right2, left_on='keyLeft', right_on='keyRight', how='inner')
keyLeft value_x keyRight value_y
0 B 0.400157 B 1.867558
1 D 2.240893 D -0.977278
避免在输出中重复键列
当从left 合并keyLeft 和从right 合并keyRight 时,如果您只想在输出中使用keyLeft 或keyRight(但不是两者)之一,您可以通过设置索引作为初步步骤。
left3 = left2.set_index('keyLeft')
left3.merge(right2, left_index=True, right_on='keyRight')
value_x keyRight value_y
0 0.400157 B 1.867558
1 2.240893 D -0.977278
将此与之前命令的输出(即left2.merge(right2, left_on='keyLeft', right_on='keyRight', how='inner') 的输出)进行对比,您会注意到缺少keyLeft。您可以根据将哪个帧的索引设置为键来确定要保留的列。这在执行某些 OUTER JOIN 操作时可能很重要。
仅合并来自DataFrames 之一的单个列
例如,考虑
right3 = right.assign(newcol=np.arange(len(right)))
right3
key value newcol
0 B 1.867558 0
1 D -0.977278 1
2 E 0.950088 2
3 F -0.151357 3
如果您只需要合并“new_val”(没有任何其他列),您通常可以在合并之前只对列进行子集:
left.merge(right3[['key', 'newcol']], on='key')
key value newcol
0 B 0.400157 0
1 D 2.240893 1
如果您正在执行 LEFT OUTER JOIN,则更高效的解决方案将涉及 map:
# left['newcol'] = left['key'].map(right3.set_index('key')['newcol']))
left.assign(newcol=left['key'].map(right3.set_index('key')['newcol']))
key value newcol
0 A 1.764052 NaN
1 B 0.400157 0.0
2 C 0.978738 NaN
3 D 2.240893 1.0
如前所述,这类似于,但比
left.merge(right3[['key', 'newcol']], on='key', how='left')
key value newcol
0 A 1.764052 NaN
1 B 0.400157 0.0
2 C 0.978738 NaN
3 D 2.240893 1.0
合并多列
要加入多个列,请指定on(或left_on 和right_on,视情况而定)的列表。
left.merge(right, on=['key1', 'key2'] ...)
或者,如果名称不同,
left.merge(right, left_on=['lkey1', 'lkey2'], right_on=['rkey1', 'rkey2'])
其他有用的merge*操作和函数
本部分仅涵盖最基本的内容,旨在激发您的兴趣。有关更多示例和案例,请参阅documentation on merge, join, and concat 以及功能规范的链接。
继续阅读
跳到 Pandas Merging 101 中的其他主题以继续学习:
*你在这里。