如何将 S3 的最后处理文件存储到 Redshift 数据库

Question

目前，我仅使用 AWS Data Pipeline 将当前日期和时间的数据从 Amazon S3 复制到 Amazon Redshift。我想每 30 分钟将数据从 S3 复制到 Redshift。最后处理的 S3 文件名也存储到另一个 Redshift 表中。

有人可以回答这个问题吗？

Answer 1

您可以使用RedshiftCopyActivity data pipeline object 来执行此操作。 RedshiftCopyActivity 对象中的 schedule 字段接受可以以 30 分钟间隔运行的 data pipeline schedule object。您需要定义一个 full pipeline in JSON，包括您的所有 AWS 资源信息（Redshift 数据节点、EC2 实例、S3 存储桶和密钥）。 JSON 模板中源数据文件的文件路径可以指向一个静态文件，该文件每 30 分钟被生成数据的任何内容覆盖。