将 JSON 信息插入数据库的最佳方法

Question

我已经设法从 API 中提取了一些信息，但它的格式对于像我这样的新手程序员来说很难。我可以将它保存到文件或将其移动到新列表等，但让我感到困惑的是我是否应该不弄乱数据并按原样插入，或者 - 我是否将其变成人类类型的格式并基本上将其解构为之后使用？

JSON 已经很困难了，因为它在嵌套字典中，并且值是一个列表。因此，在尝试完之后，我希望它实际上位于数据库中。我现在使用postgresql作为数据库，正在学习python。

    response = requests.post(url3, headers=headers)
jsonResponse = response.json()
my_data = jsonResponse['message_response']['scanresults'][:]
store_list = []

for item in my_data:
    dev_details = {"mac":None, "user":None, "resource_name":None}
    dev_details['mac'] = item['mac_address']
    dev_details['user'] = item['agent_logged_on_users']
    dev_details['devName'] = item['resource_name']
    store_list.append(dev_details)

try:
    connection = psycopg2.connect(
        user="",
        other_info="")
#   create cursor to perform db actions
    curs = connection.cursor()
    sql = "INSERT INTO public.tbl_devices (mac, user, devName) VALUES (%(mac)s, %(user)s, %(devName)s);"
    curs.execute(sql, store_list)
    connection.commit()
finally:
    if (connection):
        curs.close()
        connection.close()
        print("Connection terminated")

我最终得到了一个字典作为列表中的记录： [{rec1},{rec2}..etc]

自然而然地将信息放入数据库中，它抱怨“列表索引必须是整数或切片”，因此需要一些关于 A）将其添加到数据库表中的方法或 B）使用不同方法的建议。

在此先感谢

Answer 1

你问得好！几乎可以肯定，您应该不将 JSON 原样转储到数据库中。这让事情一开始很容易，但是当您稍后尝试查询或修改数据时，您会付出代价。

例如，如果您有类似的数据

[
   { "name": "a", "keys": [1, 2, 3] },
   { "name": "b", "keys": [4, 5, 6] }
]

创建表

CREATE TABLE key_list (
   id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
   name text NOT NULL,
   mytable_id BIGINT REFERENCES mytable NOT NULL
);

CREATE TABLE key (
   id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
   value integer NOT NULL,
   key_list_id bigint REFERENCES key_kist NOT NULL
);

并以这种方式存储值。