多列上的熊猫数据库合并未正确合并[重复]

Question

我遇到了以下问题。我想合并多个列上的两个数据框（准确地说是 11 个）。令人惊讶的是，通常的方法不起作用。示例数据框如下： df1：

c1  c2  c3  c4  c5  c6  event_count
1   2   a   ff  0   1   5
1   2   b   fg  1   3   6
1   2   c   hg  2   4   20
1   2   d   gf  0   1   7
1   2   e   fg  1   4   1

df2：

c1  c2  c3  c4  c5  c6  event_type  event_price
1   2   a   ff  0   1   a           20
1   2   b   fg  1   3   a           20
1   2   c   hg  2   4   b           30
1   2   d   gf  0   1   b           40
1   2   e   fg  1   4   b           50

我试过了

result = pd.merge(df1, df2, how='outer', on = ['c1','c2','c3','c4','c5','c6'])

这在技术上也应该有效：

结果 = pd.merge(df1, df2, how='outer')

但我明白了：

c1  c2  c3  c4  c5  c6  event_count event_type  event_price
1   2   a   ff  0   1   5       
1   2   b   fg  1   3   6       
1   2   c   hg  2   4   20      
1   2   d   gf  0   1   7       
1   2   e   fg  1   4   1       
1   2   a   ff  0   1               a           20
1   2   b   fg  1   3               a           20
1   2   c   hg  2   4               b           30
1   2   d   gf  0   1               b           40
1   2   e   fg  1   4               b           50

当我想得到这个时：

c1  c2  c3  c4  c5  c6  event_count event_type  event_price
1   2   a   ff  0   1   5            a          20
1   2   b   fg  1   3   6            a          20
1   2   c   hg  2   4   20           b          30
1   2   d   gf  0   1   7            b          40
1   2   e   fg  1   4   1            b          50

我也尝试过使用索引：

df1_index = df1.set_index(['c1', 'c2','c3'....]); df2_index =df2.set_index(['c1', 'c2','c3'....]); 结果 = pd.concat([df1_index, df2_index], axis=1);

但这给出了同样错误的结果。我确保两个表的 dtypes 也相同。我不确定还能尝试什么。有什么建议吗？ 谢谢:)

Answer 1

如果一个 DataFrame 中的值是数字 字符串，而另一个 DataFrame 中的值是数字，则可能会发生您描述的行为。它们看起来相同，但比较不同。

例如，考虑下面的df1 和df2。它们的c 列是相同的，只是df1['c1'] 包含字符串，而df2['c1'] 包含整数。

import pandas as pd
df1 = pd.DataFrame({'c1': ['1', '1', '1', '1', '1'],
 'c2': [2, 2, 2, 2, 2],
 'c3': ['a', 'b', 'c', 'd', 'e'],
 'c4': ['ff', 'fg', 'hg', 'gf', 'fg'],
 'c5': [0, 1, 2, 0, 1],
 'c6': [1, 3, 4, 1, 4],
 'event_count': [5, 6, 20, 7, 1]})

df2 = pd.DataFrame({'c1': [1, 1, 1, 1, 1],
 'c2': [2, 2, 2, 2, 2],
 'c3': ['a', 'b', 'c', 'd', 'e'],
 'c4': ['ff', 'fg', 'hg', 'gf', 'fg'],
 'c5': [0, 1, 2, 0, 1],
 'c6': [1, 3, 4, 1, 4],
 'event_price': [20, 20, 30, 40, 50],
 'event_type': ['a', 'a', 'b', 'b', 'b']})

合并无法匹配任何行，因为1 != '1':

print(pd.merge(df1, df2, how='outer'))
#   c1  c2 c3  c4  c5  c6  event_count  event_price event_type
# 0  1   2  a  ff   0   1            5          NaN        NaN
# 1  1   2  b  fg   1   3            6          NaN        NaN
# 2  1   2  c  hg   2   4           20          NaN        NaN
# 3  1   2  d  gf   0   1            7          NaN        NaN
# 4  1   2  e  fg   1   4            1          NaN        NaN
# 5  1   2  a  ff   0   1          NaN           20          a
# 6  1   2  b  fg   1   3          NaN           20          a
# 7  1   2  c  hg   2   4          NaN           30          b
# 8  1   2  d  gf   0   1          NaN           40          b
# 9  1   2  e  fg   1   4          NaN           50          b

如果我们将数字字符串转换为数字，然后合并 按预期成功：

df1 = df1.convert_objects(numeric=True)
df2 = df2.convert_objects(numeric=True) # not necessary in my example, but may be necessary for you if the numeric strings are in df2.
print(pd.merge(df1, df2, how='outer'))

产量

   c1  c2 c3  c4  c5  c6  event_count  event_price event_type
0   1   2  a  ff   0   1            5           20          a
1   1   2  b  fg   1   3            6           20          a
2   1   2  c  hg   2   4           20           30          b
3   1   2  d  gf   0   1            7           40          b
4   1   2  e  fg   1   4            1           50          b

虽然df1 = df1.convert_objects(numeric=True) 可能会解决您的问题，但它 当df1 和/或 df2 是首先定义的。

Answer 2

为什么要进行外部联接？据我所知，您需要一个内部连接。 这个df1.merge(df2) 给了我：

    c1  c2  c3  c4  c5  c6  event_count event_type  event_price
0   1   2   a   ff  0   1   5              a            20
1   1   2   b   fg  1   3   6              a            20
2   1   2   c   hg  2   4   20             b            30
3   1   2   d   gf  0   1   7              b            40
4   1   2   e   fg  1   4   1              b            50