AWS lambda 函数和 Athena 创建分区表

Question

这是我的要求。每天我都会将 CSV 文件接收到 S3 存储桶中。我需要对这些数据进行分区并将其存储到 Parquet 中以最终映射一个表。我正在考虑使用上传文件时触发的 AWS lambda 函数。我不确定这样做的步骤是什么。

Answer 1

有（像 AWS 一样！）有几种方法可以做到这一点，我首先想到的 2 种方法是：

1. 使用 Cloudwatch 事件，将 S3 PutObject 对象级别）操作作为触发器，并将您已经创建的 lambda 函数作为目标。
2. 从 Lambda 函数开始，添加后缀过滤的触发器会稍微容易一些，例如，对于任何 .csv 文件，通过转到控制台中的函数配置，然后在 Designer 部分添加触发器，然后选择 S3 和您要使用的操作，例如存储桶、事件类型、前缀、后缀。

在这两种情况下，您都需要编写 lambda 函数来完成您所描述的工作，并且需要 IAM 访问存储桶来提取文件并处理它们。