【问题标题】:Copy data from Redshift To MySQL/PSQL将数据从 Redshift 复制到 MySQL/PSQL
【发布时间】:2016-04-21 00:55:15
【问题描述】:

我试图搜索它,但找不到...

将数据从 Amazon Redshift 复制到 MySQL/PSQL 数据库的最佳方法是什么?

我知道的唯一解决方案是将数据从 Redshift 复制到我的机器,然后将其移动到 MySQL/PSQL,但这当然是 I/O 密集型且不可扩展。

谁能提出更好的建议(可能是通过 S3)?

【问题讨论】:

  • 所以你不希望这个过程通过主机/机器发生?

标签: mysql postgresql etl amazon-redshift


【解决方案1】:

有很多方法可以做到这一点:

  1. 使用 Redshift 的 UNLOAD 命令将表数据导出并上传到 S3。然后使用 AWS S3 SDK(可能使用 Python/Java)将它们导入您的 psql/MySQL 表中

  2. 使用 AWS Data Pipeline 创建数据流以导出 Redshift 数据并将其导入您选择的数据库

  3. 使用 AWS 开发工具包通过 Python/Java/Ruby 以编程方式导出 Redshift 数据,然后将数据导回到您的数据库中。

【讨论】:

  • 根据第一种解决方案,我们可以使用 AWS S3 SDK 将数据从 S3 复制到 MySQL/PSQL 表。我尝试在 AWS S3 SDK 中寻找这样的 API,但找不到......如果有任何这样的 API 可用,请指点我......谢谢
  • 如果使用 Python,您可以使用 S3 Boto 访问 S3 中的文件,并使用任何 pySQL 或 psyCOPG 将数据加载到 PostgreSQL。
【解决方案2】:

这正是 AWS Data Pipeline 的目的所在。请查看我们的工作示例以完成您想做的事情:

https://github.com/awslabs/data-pipeline-samples/tree/master/samples/RedshiftToRDS

【讨论】:

  • 遗憾的是(截至 2020 年 2 月)并非所有地区都可以使用。所以这个问题仍然有效。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-09-12
  • 1970-01-01
  • 1970-01-01
  • 2019-04-23
  • 2013-05-31
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多