以元组列表为值展开字典的 pandas 列

Question

我有以下数据框，其中 col2 是一个字典，其中包含一个元组列表作为值。键在整个数据框中始终“添加”和“删除”。

输入df

col1	col2
value1	{'added': [(59, 'dep1_v2'), (60, 'dep2_v2')], 'deleted': [(59, 'dep1_v1'), (60, 'dep2_v1')]}
value 2	{'added': [(61, 'dep3_v2')], 'deleted': [(61, 'dep3_v1')]}

这是一个可复制粘贴的示例数据框：

jsons = ["{'added': [(59, 'dep1_v2'), (60, 'dep2_v2')], 'deleted': [(59, 'dep1_v1'), (60, 'dep2_v1')]}",
         "{'added': [(61, 'dep3_v2')], 'deleted': [(61, 'dep3_v1')]}"]

df = pd.DataFrame({"col1": ["value1", "value2"], "col2": jsons})

编辑

col2 直接来自diff_parsed field of pydriller 输出

我想“分解” col2 以获得以下结果：

期望的输出

col1	number	added	deleted
value1	59	dep1_v2	dep1_v1
value1	60	dep2_v2	dep2_v1
value2	61	dep3_v2	dep3_v1

到目前为止，我尝试了以下方法：

df = df.join(pd.json_normalize(df.col2))
df.drop(columns=['col2'], inplace=True)

上面的代码被简化了。我首先操作该列以转换为正确的 json。它试图首先在“添加”和“删除”上爆炸，然后尝试使用格式来获​​得我想要的......但是元组列表没有保留，我得到以下内容：

col1	added	deleted
value1	59, dep1_v2, 60, dep2_v2	59, dep1_v1, 60, dep2_v1
value2	61, dep3_v1	61, dep3_v2

谢谢

Answer 1

这当然不优雅，但这是一个至少更容易理解和推理的潜在解决方案：

def explode_records(df):
    new_records = []
    def map_dict_to_row(value, col2_dict):
        temp = {}
        for number, added in col2_dict["added"]:
            temp[number] = {"value": value, "number": number, "added": added}
        for number, deleted in col2_dict["deleted"]:
            if number in temp:
                temp[number] = {**temp[number], "deleted": deleted}
            else:
                temp[number] = {"value": value, "deleted": deleted}
        new_records.extend(list(temp.values()))

    df.apply(lambda row: map_dict_to_row(row.col1, row.col2), axis=1)  # assumes col2 is a dict
    return pd.DataFrame(new_records)

用法：

In [4]: explode_records(df)
Out[4]:
     value  number    added  deleted
0   value1      59  dep1_v2  dep1_v1
1   value1      60  dep2_v2  dep2_v1
2  value 2      61  dep3_v2  dep3_v1

请注意，我从您的原始数据中获得了 value 2。我假设这只是一个错字，而不是您也需要value x -> valuex 功能。

我无法让其他解决方案发挥作用，因此无法将其性能与我的进行比较。

Answer 2

获取添加和删除的数据（col2中的值，已转换为dicts）：

added, deleted = [df.col2.str[head].explode()
                    .apply(pd.Series).set_axis(['number', head], axis = 1) 
                  for head in ('added', 'deleted')]

去掉重复的数字列：

 added = added['added']

修剪 df：

df = df['col1']

连接：

pd.concat([df, added, deleted], axis = 1)

      col1    added  number  deleted
0   value1  dep1_v2      59  dep1_v1
0   value1  dep2_v2      60  dep2_v1
1  value 2  dep3_v2      61  dep3_v1

@ddejohn 的解决方案应该更高效，因为您正在处理原生 python 结构，然后再将它们转储到 pandas 中

Answer 3

这里有一个解决方案。它有点长，但它有效：

tmp = pd.concat([df, pd.json_normalize(df['col2'])], axis=1).drop('col2', axis=1).explode(['added', 'deleted'])
new_df = pd.concat([tmp.drop(['added', 'deleted'], axis=1).reset_index(drop=True), pd.DataFrame(tmp['added'].tolist()).merge(pd.DataFrame(tmp['deleted'].tolist()), on=0).set_axis(['number', 'added', 'deleted'], axis=1)], axis=1)

输出：

>>> new_df
     col1  number    added  deleted
0  value1      59  dep1_v2  dep1_v1
1  value1      60  dep2_v2  dep2_v1
2  value2      61  dep3_v2  dep3_v1