【问题标题】:Select Data from Table and Insert into a different DB从表中选择数据并插入到不同的数据库中
【发布时间】:2010-12-14 16:51:47
【问题描述】:

我正在使用 python 和 psycopg2 远程查询一些 psql 数据库,并且我试图找出从远程表中选择我需要的数据并将其插入到单独数据库上的表中的最佳方法(本地应用服务器)。

我读过的大部分内容都指示我避免 executemany 并着眼于 COPY 操作,但我不确定如何在特定的 select 语句而不是整个表上实现这一点。我应该朝这个方向前进还是完全走开?

【问题讨论】:

    标签: python sql postgresql psycopg2


    【解决方案1】:

    但我不确定如何在特定的选择语句而不是整个表上实现这一点

    COPY 不限于表,您也可以使用查询作为源,查看手册中的示例,它展示了如何使用 COPY 根据查询创建文本文件:

    http://www.postgresql.org/docs/current/static/sql-copy.html#AEN59055 (第三个例子)

    【讨论】:

      【解决方案2】:

      看看http://ryrobes.com/featured-articles/using-a-simple-python-script-for-end-to-end-data-transformation-and-etl-part-1/

      当然,这是从 Oracle 中提取并插入 SQL Server,但概念应该相同。

      【讨论】:

      • 这基本上只是说将查询结果复制到一个列表,准备您的插入语句,然后将该列表通过管道传递给 executemany。与其他解决方案(如 COPY 操作)相比,这在更大的数据集上表现如何?
      猜你喜欢
      • 1970-01-01
      • 2011-05-17
      • 1970-01-01
      • 2022-01-16
      • 2015-09-22
      • 1970-01-01
      • 2012-09-24
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多