使用 groupby 将 pandas DataFrame 转换为 2 层嵌套 JSON

Question

假设我有一个名为 df 的 pandas 数据框，类似于：

source      tables
src1        table1       
src1        table2          
src1        table3       
src2        table1        
src2        table2 

我目前能够输出一个 JSON 文件，该文件遍历各种源，为每个源创建一个对象，代码如下：

all_data = [] 

    for src in df['source']:
        source_data = {
            src: {
            }
        }
        all_data.append(source_data)

    with open('data.json', 'w') as f:
        json.dump(all_data, f, indent = 2)

这会产生以下输出：

[
  {
    "src1": {}
  },
  {
    "src2": {}
  }
]

本质上，我想做的也是遍历这些源列表并分别添加与每个源对应的表对象。我想要的输出如下所示：

[
  {
    "src1": {
      "table1": {},
      "table2": {},
      "table3": {}
    }
  },
  {
    "src2": {
      "table1": {},
      "table2": {}
    }
  }
]

任何有关如何修改我的代码以遍历表列并将其附加到相应源值的帮助将不胜感激。提前致谢。

Answer 1

这就是你要找的吗？

data = [
    {k: v} 
    for k, v in df.groupby('source')['tables'].agg(
        lambda x: {v: {} for v in x}).items()
]

with open('data.json', 'w') as f:
    json.dump(data, f, indent=2)  

这里的答案有两层。要按来源对表格进行分组，请先使用 groupby 并进行内部理解。您可以使用列表推导以这种特定格式整体组装您的数据。

[
  {
    "src1": {
      "table1": {},
      "table2": {},
      "table3": {}
    }
  },
  {
    "src2": {
      "table1": {},
      "table2": {}
    }
  }
]

---

使用.apply 处理任意数据的示例

df['tables2'] = 'abc'

def func(g): 
    return {x: y for x, y in zip(g['tables'], g['tables2'])}

data = [{k: v} for k, v in df.groupby('source').apply(func).items()]
data
# [{'src1': {'table1': 'abc', 'table2': 'abc', 'table3': 'abc'}},
#  {'src2': {'table1': 'abc', 'table2': 'abc'}}]

请注意，这不适用于 pandas 1.0（可能是由于错误）