根据另一个 DataFrame 的公共列过滤和替换一个 Pandas DataFrame 中的值

Question

我有一个关于 Pandas 以及正确索引和替换值的问题。

我有 2 个 DataFrame，df1 和 df2，具有相同的列（Col1、Col2、Col3 和 Col4）。

df1 = pd.DataFrame([['A','b','x',1], ['A','b','y',2], ['A','c','z',3], ['B','b','x',4]], columns=['Col1', 'Col2', 'Col3', 'Col4'])
df2 = pd.DataFrame([['A','b','y',0], ['B','b','x',0]], columns=['Col1','Col2','Col3','Col4'])
    
df1
  Col1 Col2 Col3 Col4
0    A    b    x    1
1    A    b    y    2
2    A    c    z    3
3    B    b    x    4
    
df2
  Col1 Col2 Col3 Col4
0    A    b    y    0
1    B    b    x    0

在 df1 中，我想替换 Col4 中与 其他列 的值匹配的行中的值（Col1， df2 中的 Col2 和 Col3) 具有另一个值（比如说 100）。

生成的 df1 如下所示：

df1
  Col1 Col2 Col3 Col4
0    A    b    x    1
1    A    b    y  100
2    A    c    z    3
3    B    b    x  100

我尝试过这样的事情：

columns = list(df1.columns)    
columns.remove('Col4')
df1.loc[(df1[cols] == df2[cols].values).all(axis=1)]['Col4']=100

但是我遇到了错误，我不确定这是否达到了我想要的效果。

Answer 1

您可以使用索引执行isin，并通过布尔掩码分配值：

cols = ['Col1', 'Col2', 'Col3']

temp1 = df1.set_index(cols)

temp2 = df2.set_index(cols)

# get the booleans here 
booleans = temp1.index.isin(temp2.index)


# this assigns 100 to only rows in Col4
# that are True
df1.loc[booleans, 'Col4'] = 100

df1

  Col1 Col2 Col3  Col4
0    A    b    x     1
1    A    b    y   100
2    A    c    z     3
3    B    b    x   100

或者，您可以使用pd.merge 和indicator 参数来解决它：

(df1.merge(df2, 
           on = cols, 
           how = 'left', 
           indicator=True, 
           suffixes = (None, '_y'))
    .assign(Col4 = lambda df: np.where(df._merge == 'both', 
                                       100, 
                                       df.Col4))
   .loc[:, df1.columns]
)

  Col1 Col2 Col3  Col4
0    A    b    x     1
1    A    b    y   100
2    A    c    z     3
3    B    b    x   100

Answer 2

让我们使用pandas.DataFrame.update 方法：

df1 = df1.set_index(['Col1', 'Col2', 'Col3'])
_df2 = df2.set_index(['Col1', 'Col2', 'Col3'])

# set arbitrary value for Col4
_df2['Col4'] = 100

# update values in df1
df1.update(_df2)

# reset index
df1 = df1.reset_index()

Answer 3

你可以试试这个：

new_df =df1.merge(df2, on=['Col1', 'Col2', 'Col3'], how='left', suffixes=(None, '_y'))
new_df.loc[new_df.Col4_y.notna(), 'Col4'] = 100

new_df.loc[:, df1.columns]

   Col1 Col2    Col3    Col4
0   A    b        x       1
1   A    b        y      100
2   A    c        z       3
3   B    b        x      100

我还想注意 merge 和 isin 方法的性能

%%timeit
# best answer
cols = ['Col1', 'Col2', 'Col3']

temp1 = df1.set_index(cols)

temp2 = df2.set_index(cols)

# get the booleans here 
booleans = temp1.index.isin(temp2.index)


# this assigns 100 to only rows in Col4
# that are True
df1.loc[booleans, 'Col4'] = 100

3.97 ms ± 765 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

%%timeit
cols = ['Col1', 'Col2', 'Col3']
(df1.merge(df2, 
           on = cols, 
           how = 'left', 
           indicator=True, 
           suffixes = (None, '_y'))
    .assign(Col4 = lambda df: np.where(df._merge == 'both', 
                                       100, 
                                       df.Col4))
   .loc[:, df1.columns]
)

5.78 ms ± 660 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

%%time
# by kelvt
df1 = df1.set_index(['Col1', 'Col2', 'Col3'])
_df2 = df2.set_index(['Col1', 'Col2', 'Col3'])

# set arbitrary value for Col4
_df2['Col4'] = 100

# update values in df1
df1.update(_df2)

# reset index
df1 = df1.reset_index()

21.46 ms ± 609 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

和

%%timeit
# my answer
new_df =df1.merge(df2, on=['Col1', 'Col2', 'Col3'], how='left', suffixes=(None, '_y'))
new_df.loc[new_df.Col4_y.notna(), 'Col4'] = 100

1.49 ms ± 109 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

如果您的 df1 和 df2 足够大，这很重要

Answer 4

您始终可以循环遍历数据框并在匹配时替换值

for index_df1, row_df1 in df1.iterrows():
    for index_df2, row_df2 in df2.iterrows():
        if (row_df2[:-1] == row_df1[:-1]).all():
            df1.loc[index_df1, 'Col4'] = 100