【问题标题】:Python reading JSON in dataframePython在数据框中读取JSON
【发布时间】:2017-12-18 03:16:32
【问题描述】:

我有一个包含两列的 SQL 数据库。一个有时间戳,另一个保存 JSON 格式的数据

例如 df:

ts                           data
'2017-12-18 02:30:20.553'   {'name':'bob','age':10, 'location':{'town':'miami','state':'florida'}}
'2017-12-18 02:30:21.101'   {'name':'dan','age':15, 'location':{'town':'new york','state':'new york'}}         
'2017-12-18 02:30:21.202'   {'name':'jay','age':11, 'location':{'town':'tampa','state':'florida'}}

如果我执行以下操作:

df = df['data'][0]
print (df['name'].encode('ascii', 'ignore'))

我明白了:

'bob'

有没有一种方法可以获取与整列的 JSON 键对应的所有数据?

(即对于 df 列“数据”获取“名称”)

'bob'

'dan'

'jay'

基本上我希望能够创建一个名为“name”的新 df 列

【问题讨论】:

  • 您希望它成为 SQL 选择语句的一部分吗?或者你能做for entry in df['data']: print(entry['name'].encode('ascii', 'ignore'))
  • 我应该更清楚,我希望结果是一个名为“名称”的新 df 列
  • 要获取列表中name 列的所有值:[entry['name'].encode('ascii', 'ignore') for entry in df['data']],那么您必须执行ALTER TABLE ADD column_name datatype 之类的操作,然后插入您的值
  • 你可以使用df["data"]apply(function)对每一行执行函数并为每一行获取你的名字。

标签: python sql json pandas


【解决方案1】:

您可以使用json_normalize 即

pd.io.json.json_normalize(df['data'])['name']

0    bob
1    dan
2    jay
Name: name, dtype: object

【讨论】:

    【解决方案2】:

    IIUC,让我们使用 apply 和 lambda 函数从字典中按键选择值:

    df['data'].apply(lambda x: x['name'])
    

    输出:

    0    bob
    1    dan
    2    jay
    Name: data, dtype: object
    

    【讨论】:

    • 我认为 .apply(dict.get, args=('name', )) 也可以。
    猜你喜欢
    • 2016-10-09
    • 1970-01-01
    • 1970-01-01
    • 2017-01-16
    • 2017-05-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-06-07
    相关资源
    最近更新 更多