如何自动将数据从 amazon S3 复制到 redshift？

Question

首先我想告诉你我现在是如何应对的。

我正在手动将数据从 S3 处理到 redshift，即在 SQL Workbench 中使用复制命令。有时我通过 JDBC 选项执行此命令。

我认为这不是复制数据的正确选择。复制可能有一个很好的解决方案。当新数据进入 S3 时，我想自动复制数据。任何解决方案将不胜感激。

谢谢。

Answer 1

我会使用 lambda。

1. 您可以在将新对象插入 S3 时触发 lamdba (see doc)

2. 根据您必须从 S3 复制的数据量，最好聚合工作以加快工作速度

AWS 已经发布了code from labs，它将数据从 S3 存储桶加载到 redshift。

This blog from amazon 从 github 项目中提取了很多文档，看看如何将其付诸实践。

Answer 2

Lambda 方法看起来相当不错，而且很受欢迎。作为替代方案，还可以考虑 AWS Glue。配置起来不是很简单，但它似乎是为处理这种工作流程而设计的。