在python中转换包含多级字典的嵌套列表

Question

我有一个包含多级字典的嵌套列表的 json 文件。我正在尝试从这些数据中创建一个 python DataFrame。

Loading data:

data = []
with open('TREC_blog_2012.json') as f:
for line in f:
    data.append(json.loads(line))

数据输出：

IN LIST FORMAT: data[0] 

{'id': '1d3bc37004e71da2816dbfda8df90746',
'article_url': 'https://www.washingtonpost.com/express/wp/2012/01/03/month-of-muscle/',
'title': 'Month of Muscle',
'author': 'Vicky Hallett',
'published_date': 1325608933000,
'contents': [{'content': 'Express', 'mime': 'text/plain', 'type': 'kicker'},
{'content': 'Month of Muscle', 'mime': 'text/plain', 'type': 'title'},
{'content': 'By Vicky Hallett', 'mime': 'text/plain', 'type': 'byline'},
{'content': 1325608933000, 'mime': 'text/plain', 'type': 'date'},
{'content': 'SparkPeople trainer Nicole Nichols asks for only 28 days to get you into shape',
'mime': 'text/plain',
'type': 'deck'},
{'fullcaption': 'Nicole Nichols, front, chose backup exercisers with strong but realistic physiques to make the program less intimidating.',
'imageURL': 'http://www.expressnightout.com/wp-content/uploads/2012/01/SparkPeople28DayBootcamp.jpg',
'mime': 'image/jpeg',
'imageHeight': 201,
'imageWidth': 300,
'type': 'image',
'blurb': 'Nicole Nichols, front, chose backup exercisers with strong but realistic physiques to make the program less intimidating.'},
 {'content': 'If you’ve seen a Nicole Nichols workout before, chances are it was on YouTube. The fitness expert, known as just Coach Nicole to the millions of members of <a href="http://www.sparkpeople.com" target="_blank">SparkPeople.com</a>, has filmed dozens of routines for the free health website. The popular videos showcasing her girl-next-door style, gentle encouragement and clear cueing have built such a devoted following that the American Council on Exercise and Life Fitness just named her “America’s top personal trainer to watch.”',
'subtype': 'paragraph',
'type': 'sanitized_html',
'mime': 'text/html'},
{'content': '<strong>3. Prioritize.</strong> When people say they can’t fit exercise in their schedule, Nichols always asks, “How much TV do you watch?” Use your shows as a reward for your workout instead of the replacement, she suggests.',
'subtype': 'paragraph',
'type': 'sanitized_html',
'mime': 'text/html'},
{'role': '',
'type': 'author_info',
'name': 'Vicky Hallett',
'bio': 'Vicky Hallett is a freelancer and former MisFits columnist.'}],
'type': 'blog',
'source': 'The Washington Post'}

我想将此数据转换为 DataFrame 类型，其中键为列，其各自的值作为行值。

但我面临的问题是关键“内容”包含一个多级字典值列表，我不明白如何将其转换为正确的 DataFrame 值。

The method I tried:

df = pd.DataFrame(data)
test = pd.DataFrame(df['contents'][0])
test.head()

给我 df['contents'] 的输出为

如果我尝试上述方法，数据未正确对齐并且未正确分配。关于如何将内容键的字典列表解析为适当的数据框的任何建议？

TIA:)

Answer 1

我会做这样的事情：

new_data = []
for row in data: 
    if 'contents' in row:
        for content in row['contents']:
            new_dict = dict(row)
            del new_dict['contents']

            for key, value in content.items():
                new_dict['content_{}'.format(key)] = value

            new_data.append(new_dict)
    else:
        new_data.append(row)

请注意，我在“内容”中为每个元素创建一行数据框。因此，您将有 9 行对应于 data[0] 中的元素。

pd.DataFrame.from_dict(new_data)

基本上，您有两种方法可以将嵌套字典转换为 2D 数据框：您可以为列表的每个元素保留一行，但您需要添加很多列（一个用于“内容”中包含的字典的每个元素, 列的数量可能会有很大差异，并且会让人头疼）或者通过在“内容”中为每个元素添加一行。我认为最后一个非常适合您的情况。

Answer 2

您可能必须从每个子词典中单独提取相关信息，并将其分配给数据框的适当列。

这部分可以立即分配给数据框的列：

{'id': '1d3bc37004e71da2816dbfda8df90746',
'article_url': 'https://www.washingtonpost.com/express/wp/2012/01/03/month-of-muscle/',
'title': 'Month of Muscle',
'author': 'Vicky Hallett',
'published_date': 1325608933000}

但是，这部分需要先分配给 python 中的字典，然后您可以将列提取到 pandas 数据框。

{'contents': [{'content': 'Express', 'mime': 'text/plain', 'type': 'kicker'}]}

所以您的代码可能如下所示：

import pandas as pd

json_file = {'id': '1d3bc37004e71da2816dbfda8df90746',
'article_url': 'https://www.washingtonpost.com/express/wp/2012/01/03/month-of-muscle/',
'title': 'Month of Muscle',
'author': 'Vicky Hallett',
'published_date': 1325608933000,
'contents': [{'content': 'Express', 'mime': 'text/plain', 'type': 'kicker'}]
            }

df = pd.DataFrame.from_dict(json_file)
my_dict = df['contents'].values[0]
for key in my_dict.keys():
    df[key] = my_dict[key]

您必须将此过程扩展到 json 文件的其他子字典（如果存在）。 假设原始 json 文件中没有键/节点也是子字典中的键，则此代码会将子字典的所有元素分配给数据帧中的相应列。如果您的数据集中有多个行/json 文件，您可以使用此过程首先将每个 json 转换为 pandas 数据帧，然后您可以将转换后的 json（现在是一个数据帧）附加到一个主要的全局数据帧，每个数据帧的行包含从单个 json 文件中提取的信息。