部分展平存储在 df 列中的嵌套 JSON 对象

Question

我有一个包含 3 列（INSTNR、Enhedsadresser、API_response）的数据框，其中第 3 列（API_response strong>) 包含 JSON 对象。我想展平 JSON 对象并将提取的信息存储在同一 df 中的单独列中。我对提取 categori、resultater -> adresse -> id 和 resultater -> adresse -> adgangsadresseid 信息特别感兴趣。

我试过了：

data = json_normalize(data=df['API_response'], record_path='resultater',
                            meta=['kategori'], errors='ignore')

但它只是返回 TypeError: string indices must be integers

而data = json_normalize(data=df['API_response']) 给了我一个包含索引列表的列...

如何提取所需信息？

JSON 对象示例：

{
  "kategori": "A",
  "resultater": [
    {
      "adresse": {
        "id": "0a3f50bc-f815-32b8-e044-0003ba298018",
        "vejnavn": "Staldgaardsgade",
        "adresseringsvejnavn": "Staldgaardsgade",
        "husnr": "39A",
        "supplerendebynavn": null,
        "postnr": "7100",
        "postnrnavn": "Vejle",
        "status": 1,
        "virkningstart": "2009-11-24T02:15:25.000Z",
        "virkningslut": null,
        "adgangsadresseid": "0a3f5090-edef-32b8-e044-0003ba298018",
        "etage": "st",
        "dør": "th",
        "href": "https://api.dataforsyningen.dk/adresser/0a3f50bc-f815-32b8-e044-0003ba298018"
      },
      "aktueladresse": {
        "id": "0a3f50bc-f815-32b8-e044-0003ba298018",
        "vejnavn": "Staldgaardsgade",
        "adresseringsvejnavn": "Staldgaardsgade",
        "husnr": "39A",
        "supplerendebynavn": null,
        "postnr": "7100",
        "postnrnavn": "Vejle",
        "status": 1,
        "virkningstart": "2009-11-24T02:15:25.000Z",
        "virkningslut": null,
        "adgangsadresseid": "0a3f5090-edef-32b8-e044-0003ba298018",
        "etage": "st",
        "dør": "th",
        "href": "https://api.dataforsyningen.dk/adresser/0a3f50bc-f815-32b8-e044-0003ba298018"
      },
      "vaskeresultat": {
        "variant": {
          "vejnavn": "Staldgaardsgade",
          "husnr": "39A",
          "etage": "st",
          "dør": "th",
          "supplerendebynavn": null,
          "postnr": "7100",
          "postnrnavn": "Vejle"
        },
        "afstand": 0,
        "forskelle": {
          "vejnavn": 0,
          "husnr": 0,
          "postnr": 0,
          "postnrnavn": 0,
          "etage": 0,
          "dør": 0
        },
        "parsetadresse": {
          "vejnavn": "Staldgaardsgade",
          "husnr": "39A",
          "etage": "st",
          "dør": "th",
          "postnr": "7100",
          "postnrnavn": "Vejle"
        },
        "ukendtetokens": [],
        "anvendtstormodtagerpostnummer": null
      }
    }
  ]
}

包含此 JSON 对象的 API 响应链接：https://api.dataforsyningen.dk/datavask/adresser?betegnelse=Staldgaardsgade%2039A%20st%20th,%207100%20Vejle

编辑 1

我使用数据和 python 脚本创建了 GitHub 存储库：https://github.com/mantasbacys/TREFOR

Answer 1

Series.str.get 可以帮助您从字典列中提取单个元素。

如果API_response 是一列格式为您的示例的字典，您可以使用：

df['kategori'] = df['api_response'].str.get('kategori')
df['id'] = (
    df['api_response']
    .str.get('resultater')  # get resultater object
    .str.get(0)  # get first element in list
    .str.get('adresse')
    .str.get('id')
)
df['adgangsadresseid'] =  = (
    df['api_response']
    .str.get('resultater')  # get resultater object
    .str.get(0)  # get first element in list
    .str.get('adresse')
    .str.get('adgangsadresseid')
)

请注意，如果格式不匹配，这将失败，因此请仔细检查！例如。如果resultater 列表中有多个元素，您可能需要改用Series.explode。

---

编辑：

您的文件显示API_response 列实际上包含保存为字符串 的已解析JSON 字典。这意味着 .str.get 方法不起作用，因为值不是有效的字典。

作为一种快速修复，您应该将字典字符串转换为实际字典首先：

def convert(s): 
    """Convert dictionary string to JSON-like format and parse with json module"""
    s = s.replace("'", '"')
    s = s.replace("None", "null")
    return json.loads(s)

df['api_response'] = df.API_response.apply(convert)
# Alternative - UNSAFE! (see https://stackoverflow.com/questions/1832940/why-is-using-eval-a-bad-practice)
# df['api_response'] = df.API_response.apply(eval)

我假设这是因为您首先下载数据，然后将其解析为字典，并在再次加载之前保存在文件中。保存文件时会发生这种到字符串列的转换。

为避免这种与字符串之间的转换，请尝试在单个脚本中解析 JSON 并提取感兴趣的值。