删除具有相同值但名称不同的列

Question

目前正在合并两个数据帧，其中两个数据帧的某些列相同但不是全部。

 df = pd.merge(df_1, df_2, how='inner', on='name' ) 

这会返回：

index   name  val1_x  val2_x  val1_y  val2_y
0      name1   1       2       1        3      
2      name2   12      14      12       34   
3      name3   14      3       14       96 

但我想：

index   name  val1_x  val2_x   val2_y
0      name1   1       2         3      
2      name2   12      14        34   
3      name3   14      3         96 

你怎么会得到这个结果？使用合并命令还是之后？

------ 扩展--外合并-------------

内部合并

df = pd.merge(df_1, df_2, how='name', on='address').T.drop_duplicates().T 

按照解决方案中的建议工作

但是有一个外部合并

df = pd.merge(df_1, df_2, how='outer', on='name' )

它不起作用，因为有 nan 值。它返回

index   name  val1_x  val2_x  val1_y  val2_y
0      name1   1       2       nan      3      
2      name2   12      14      12       34   
3      name3   14      3       14       96 

但我想：

index   name  val1_x  val2_x   val2_y
0      name1   1       2         3      
2      name2   12      14        34   
3      name3   14      3         96 

如何做到这一点？

Answer 1

使用 drop_duplicates

df = pd.merge(df_1, df_2, how='inner', on='name' ).T.drop_duplicates().T

  index   name val1_x val2_x val2_y
0     0  name1      1      2      3
1     2  name2     12     14     34
2     3  name3     14      3     96

Answer 2

这是一个复杂的聚合，因此您可以编写自己的函数来解析组。此方法仅适用于解析数字（日期时间和布尔也适用）数据。使用字符串，您需要退回到对行进行更慢的pd.nunique 调用。

对于每个组，我们检查列是否完全重复（使用 np.unique，填充后），然后返回原始组或去重分组。

起始数据

   index   name  val1_x  val2_x  val1_y  val2_y
0      0  name1       1       2     NaN       3
1      2  name2      12      14    12.0      34
2      3  name3      14       3    14.0      96

代码

l = []
for idx, gp in df.groupby(df.columns.str.split('_').str[0], axis=1):
    if any(gp.dtypes == 'O') | (gp.shape[1] == 1):  # Can't/don't resolve these types
        l.append(gp)
    else:
        arr = np.unique(gp.ffill(axis=1).bfill(axis=1).to_numpy(), axis=1)
        if arr.shape[1] == 1:
            l.append(pd.DataFrame(index=gp.index, columns=[idx], data=arr))
        else:
            l.append(gp)

df = pd.concat(l, axis=1)

---

   index   name  val1  val2_x  val2_y
0      0  name1   1.0       2       3
1      2  name2  12.0      14      34
2      3  name3  14.0       3      96