如何使用python并行获取postgres表

【问题标题】：How to fetch postgres table in parallel using python如何使用python并行获取postgres表
【发布时间】：2018-02-21 08:13:08
【问题描述】：

我有一个名为“order_lines”的表，因为它有近 700 万行，我需要大约 30 分钟才能将其拉出并转储到 csv 中。我希望我是否可以并行拉它以减少使用 python 的加载时间。我的最终目标是在 redshift 中复制它。

有人可以建议在 python 中拉这个表的方法吗？

提前致谢！

【问题讨论】：

【解决方案1】：

您可以使用具有管理员权限的以下查询：

COPY (select col1,col2 from your_table) TO 'some_file_location/filename.csv' DELIMITER ',' CSV HEADER;

或者在你的服务器命令提示符下：

psql -U user -d db_name -c "Copy (Select * From your_table) To STDOUT With CSV HEADER DELIMITER ',';" > filename_data.csv

【讨论】：