比 HDF5 -> Pandas -> PostgreSQL 更好的方法

Question

我有 51 个大型 HDF5 表，每个表都有足够的（行为良好的）数据，我什至无法将其中一个完全加载到内存中。为了让我的团队其他成员的生活更轻松，我需要将这些数据传输到 PostgreSQL 数据库中（并删除 HDF5 表）。然而，这说起来容易做起来难，主要是因为这些障碍：

1. pandas.read_hdf() 仍然有一个不稳定的chunksize kwag：SO Question; Open github issue
2. pandas.DataFrame.to_sql() 非常缓慢且效率低下：Open github issue（请参阅问题页面底部的我的帖子）
3. PostgreSQL 没有本地或第三方数据包装器来处理 HDF5：PostgreSQL wiki article
4. HDF5 ODBC 驱动程序仍处于初期阶段：HDF5 ODBC blog

基本上从 HDF5 -> Pandas -> PostgreSQL 开始，需要通过大量的猴子补丁来克服障碍 1 和 2。而且似乎没有直接的方法可以直接从 HDF5 -> PostgreSQL 出发。除非我错过了什么。

也许你们中的一个优秀用户可以暗示我缺少的东西，你创建的一些拼凑以克服有助于我的事业的类似问题，或者任何建议或建议......

Answer 1

您可以使用以下内容转换为 CSV：

import csv
import h5py
with h5py.File('input.hdf5') as hdf5file:
    with open('output.csv', 'w') as csvfile:
        writer = csv.writer(csvfile)
        for row in hdf5file['__data__']['table']:
            writer.writerow(row)

然后用psql导入postgres：

create table mytable (col1 bigint, col2 float, col3 float);
\copy mytable from 'output.csv' CSV

根据数据的复杂性，您可能会做一些聪明的事情来从 hdf5 文件中获取架构并使用它来制作 CREATE TABLE 语句。

或者，您可以尝试在 Python 脚本中编写自己的 INSERT 语句，这可能会比使用 COPY 慢，但可能是一个更简单的解决方案：

import psycopg2
from itertools import islice

with h5py.File('input.hdf5') as hdf5file:
    with psycopg2.connect("dbname=mydb user=postgres") as conn
        cur = conn.cursor()
        chunksize=50
        t = iter(hdf5file['__data__']['table'])
        rows = islice(t, chunksize)
        while rows != []:
            statement = "INSERT INTO mytable VALUES {}".format(','.join(rows))
            cur.execute(row)
            rows = islice(t, chunksize)
        conn.commit()