如何处理 Lambda 在 S3 上添加的文件并能够将数据转储到 redshift

Question

我想了解如何在我的 S3 存储桶上拥有可由我的 lambda 函数处理的示例文件，然后能够将数据转储到 redshift。

我知道我们可以使用以下 aws 文档中的 COPY 命令将数据从 S3 加载到 Redshift：https://docs.aws.amazon.com/redshift/latest/dg/tutorial-loading-data.html

S3 上的文件经过 Lambda 函数处理后使用 Redshift 的流程是什么？

Answer 1

• 配置 S3 存储桶以在上传新文件时触发您的 Lambda 函数。
• Lambda 函数可以将文件从 S3 复制到 Lambda 环境的 /tmp 文件夹，然后执行所需的任何处理。
• 处理完成后，如果您要执行 Redshift COPY 命令，则 Lambda 函数需要首先将新文件复制到 S3 中的不同位置，可能是完全不同的存储桶，然后发出COPY 命令到 Redshift 集群。或者，Lambda 函数可以打开与 Redshift 集群的连接并直接发出 INSERT 语句。

如果您想进一步解耦流程，您可以让 Lambda 函数简单地将最终输出复制到另一个 S3 存储桶并退出。然后让第二个 S3 存储桶触发第二个 Lambda 函数，该函数向 Redshift 发出 COPY 命令。