将大容量数据从 pandas df 插入到 postgresql 时出现语法错误

Question

我正在尝试将 pandas 数据帧数据批量插入 Postgresql。 在 Pandas 数据框中我有 35 列，在 Postgresql 表中我有 45 列。我从 pandas 数据框中选择 12 个匹配列并插入到 postgresql 表中。为此，我使用以下代码 sn-ps：

df = pd.read_excel(raw_file_path,sheet_name = 'Sheet1',usecols=col_names) <---col_names = list of desired columns (12 columns)
cols = ','.join(list(df.columns))
tuples = [tuple(x) for x in df.to_numpy()]
query = "INSERT INTO {0}.{1} ({2}) VALUES (%%s,%%s,%%s,%%s,%%s,%%s,%%s,%%s,%%s,%%s,%%s,%%s);".format(schema_name,table_name,cols)
curr = conn.cursor()
try:
    curr.executemany(query,tuples)
    conn.commit()
    curr.close()
except (Exception, psycopg2.DatabaseError) as error:
    print("Error: %s" % error)
    conn.rollback()
    curr.close()
    return 1
finally:
    if conn is not None:
        conn.close()
        print('Database connection closed.')

运行时出现此错误：

SyntaxError: syntax error at or near "%"
LINE 1: ...it,purchase_group,indenter_name,wbs_code) VALUES (%s,%s,%s,%...

即使我使用 ? 代替 %%s 我仍然收到此错误。

有人能解释一下吗？

附：我正在使用 Postgresql 版本 10。

Answer 1

您现在所做的实际上是一次插入一个 pandas 数据帧。即使这行得通，这将是一个极其缓慢的操作。同时，如果数据可能包含字符串，只需将它们放入这样的查询字符串中，就会导致 SQL 注入。

我不会重新发明轮子。 Pandas 有一个to_sql 函数，它接受一个数据框并将其转换为您的查询。您可以指定发生冲突时的处理方式（当行已存在时）。

它适用于SQLAlchemy，它对 PostgreSQL 有很好的支持。即使它可能是一个需要探索和安装的新包，您也不需要在其他任何地方使用它来完成这项工作。

from sqlalchemy import create_engine
engine = create_engine('postgresql://localhost:5432/mydatabase')

pd.read_excel(
    raw_file_path,
    sheet_name = 'Sheet1',
    usecols=col_names  # <---col_names = list of desired columns (12 columns)
).to_sql(
    schema=schema_name,
    name=table_name,
    con=engine,
    method='multi'  # this makes it do all inserts in one go
)