【问题标题】:Best way to Insert Python NumPy array into PostgreSQL database将 Python NumPy 数组插入 PostgreSQL 数据库的最佳方法
【发布时间】:2020-02-18 10:29:36
【问题描述】:

我们的团队使用的软件严重依赖将 NumPy 数据转储到文件中,这大大降低了我们的代码速度。如果我们可以将 NumPy 数组直接存储在 PostgreSQL 中,我们将获得显着的性能提升。

欢迎在任何数据库或类似数据库的可搜索结构中存储 NumPy 数组的其他高性能方法,但首选 PostgresSQL。

My question is very similar to one asked previously. 但是,我正在寻找一个更健壮和高性能的答案,我希望存储任意 NumPy 数组。

【问题讨论】:

  • 看看这个扩展是否对你有用。 pgxn.org/dist/pandapost
  • 任何任意 NumPy 数组 ... 关系数据库,甚至是像 Postgres 这样免费的开源企业级数据库,都应该规划和设计具有所有模式、表、字段、用户和其他理想情况下已知并提前准备好的组件。动态转储 any 数据是不可取的,并且可能最终导致系统混乱。询问任何 DBA!或许可以考虑.npy binary format、pickle 或其他非文本格式?
  • 你能详细说明一个凌乱的系统吗?这可能是对帖子的一个很好的回答

标签: python sql postgresql numpy


【解决方案1】:

不确定这是否是您所追求的,但假设您具有对现有 postgres 数据库的读/写访问权限:

import numpy as np
import psycopg2 as psy
import pickle

db_connect_kwargs = {
    'dbname': '<YOUR_DBNAME>',
    'user': '<YOUR_USRNAME>',
    'password': '<YOUR_PWD>',
    'host': '<HOST>',
    'port': '<PORT>'
}

connection = psy.connect(**db_connect_kwargs)
connection.set_session(autocommit=True)
cursor = connection.cursor()

cursor.execute(
    """
    DROP TABLE IF EXISTS numpy_arrays;
    CREATE TABLE numpy_arrays (
        uuid VARCHAR PRIMARY KEY,
        np_array_bytes BYTEA
    )
    """
)

这种方法的要点是将任何 numpy 数组(任意形状和数据类型)存储为numpy_arrays 表中的一行,其中uuid 是一个唯一标识符,以便以后能够检索该数组。实际数组将作为字节保存在np_array_bytes 列中。

插入数据库:

some_array = np.random.rand(1500,550)
some_array_uuid = 'some_array'

cursor.execute(
    """
    INSERT INTO numpy_arrays(uuid, np_array_bytes)
    VALUES (%s, %s)
    """,
    (some_array_uuid, pickle.dumps(some_array))
)

从数据库中查询:

uuid = 'some_array'
cursor.execute(
    """
    SELECT np_array_bytes
    FROM numpy_arrays
    WHERE uuid=%s
    """,
    (uuid,)
)
some_array = pickle.loads(cursor.fetchone()[0])

性能?

如果我们可以将 NumPy 数组直接存储在 PostgreSQL 中,我们会得到 性能大幅提升。

我没有以任何方式对这种方法进行基准测试,所以我无法确认也无法反驳...

磁盘空间?

我的猜测是,这种方法占用的磁盘空间与使用 np.save('some_array.npy', some_array) 将数组转储到文件中一样多。如果这是一个问题,请考虑在插入之前压缩字节。

【讨论】:

  • Unpickling 允许任意 python 代码执行,所以你永远不应该 unpickle 不可信的东西。如果允许不同的进程为此列保存任意值,则存在(尽管很小)可利用的安全漏洞。要关闭它,您可以使用bf = io.BytesIO(); some_array = np.load(bf, allow_pickle=False) 来加载数据,而不是(同样用于保存)
  • 顺便说一下,使用pickle.dump 代替np.save 有额外(最小)37 字节的开销。
【解决方案2】:

您可以使用 subprocess.run() 执行 shell 命令,以便使用管道中的 Postgressql COPY 从 csv 文件批量复制到服务器。我更熟悉mssql,它具有bcp 方法,无法完全测试我的解决方案,尽管我想这是通过终端调用的类似方法。终端命令基于使用该方法的第三个链接,尽管该解决方案使用subprocess.call(),此后已更新为subprocess.run()。

https://docs.python.org/3/library/subprocess.html#subprocess.run https://ieftimov.com/post/postgresql-copy/

Python psql \copy CSV to remote server

import subprocess


psql_command = "\"\copy table (col1, col2) FROM file_location CSV HEADER QUOTE '\\\"' NULL ''\""
# user, hostname, password, dbname all defined elsewhere above.
command = ["psql",
    "-U", user,
    "-h", hostname,
    "-d", dbname,
    "-w", password,
    "-c", psql_command,
]

subprocess.run(command)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2013-09-08
    • 1970-01-01
    • 2018-07-22
    • 2021-05-19
    • 1970-01-01
    • 2014-12-29
    • 1970-01-01
    相关资源
    最近更新 更多