如何使用python提高对sql数据库的写入速度

Question

我正在尝试找到一种更好的方法来使用 python 将数据推送到 sql db。我努力了 dataframe.to_sql() 方法和 cursor.fast_executemany() 但他们似乎并没有提高我现在正在使用的数据的速度（数据在 csv 文件中）。有人建议我可以使用 named tuples 和 generators 来比 pandas 更快地加载数据。

[通常 csv 文件大小至少为 1GB，推送一个文件大约需要 10-17 分钟]

我对 python 的许多概念都很陌生，所以请建议一些方法或至少参考任何显示任何信息的文章。提前致谢

Answer 1

如果您尝试将 csv 按原样插入数据库（即不在 pandas 中进行任何处理），您可以在 python 中使用 sqlalchemy 来执行“BULK INSERT [params, file, etc.]”。或者，我发现读取 csv、处理、写入 csv，然后批量插入是一种选择。

否则，请随意指定更多您想要完成的内容，在插入数据库之前需要如何处理数据等。