使用条件合并两个 DataFrame 以更新列或追加行

Question

我有 2 个具有相同列的数据框。我想在一个键列上合并（或连接）这些数据帧，如果两者之间存在键匹配，它只会更新匹配行的单个列，否则它将行附加到第一个/旧数据帧。

示例伪代码：

for row in new_dataset:
if new_dataset['key'] == old_dataset['key']:
    old_dataset['last_seen'] = new_dataset['last_seen']
else:
    append row to old_dataset

示例输入：

DF1

Key       First_Seen Last_Seen Data  Data
Bigfoot   2015       2015      Blah  Blah
Loch_Ness 2016       2016      Blah  Blah
UFO       2016       2004      Blah  Blah

DF2

Key       First_Seen Last_Seen Data  Data
UFO       2017       2017      Blah  Blah
Tupac     2017       2017      Blah  Blah

期望的输出：

DF3

Key       First_Seen Last_Seen Data  Data
Bigfoot   2015       2015      Blah  Blah
Loch_Ness 2016       2016      Blah  Blah
UFO       2016       2017      Blah  Blah
Tupac     2017       2017      Blah  Blah

编辑：我尝试了几种方法，包括：将键作为索引加入，在键上进行右合并，显式调用列，然后向左合并以附加不匹配的值。我面临的问题是合并要么想要合并所有列，并创建一个完全重复的 df，要么当我显式调用列时，它不允许匹配数据框的 pandas 系列。当我规范化为在列调用上使用 2 系列时，我无法返回匹配合并的特定行等。

Answer 1

新答案

df1.append(df2).pipe(
    lambda d: (
        lambda f: f('Key').assign(
            Last_Seen=f('Key', 'last').Last_Seen.values)
    )(d.drop_duplicates)
).reset_index(drop=True)

         Key  First_Seen  Last_Seen  Data Data.1
0    Bigfoot        2015       2015  Blah   Blah
1  Loch_Ness        2016       2016  Blah   Blah
2        UFO        2016       2017  Blah   Blah
3      Tupac        2017       2017  Blah   Blah

变体
少lambda多merge

df1.merge(df2, 'outer', 'Key', suffixes=['', '_']).pipe(
    lambda d: d.fillna(
        d.filter(regex='_$').rename(columns=lambda x: x[:-1])
    ).assign(Last_Seen=d.Last_Seen_.fillna(d.Last_Seen))
)[df1.columns].astype(df1.dtypes)

         Key  First_Seen  Last_Seen  Data Data.1
0    Bigfoot        2015       2015  Blah   Blah
1  Loch_Ness        2016       2016  Blah   Blah
2        UFO        2016       2017  Blah   Blah
3      Tupac        2017       2017  Blah   Blah

---

旧答案

d1, d2 = df1.set_index('Key').align(df2.set_index('Key'))
d3 = d1.combine_first(d2)
d3.update(d2.Last_Seen)
d3 = d3.reset_index().astype(df1.dtypes)
d3

         Key  First_Seen  Last_Seen  Data Data.1
0    Bigfoot        2015       2015  Blah   Blah
1  Loch_Ness        2016       2016  Blah   Blah
2      Tupac        2017       2017  Blah   Blah
3        UFO        2016       2017  Blah   Blah