加载 AWS Glue S3 源数据

Question

我有一个使用案例，其中 AWS Glue 非常适合数据转换。

但是，此转换作业的源文件是通过 HTTPs 调用检索的，可能需要 45 分钟才能返回。

将此数据加载到 S3 并在完成后 sftp 粘合输出的最佳方法是什么？

此作业需要既计划又按需运行。

Answer 1

我认为现在没有办法直接从 Glue for HTTP/s 加载数据。

您可以使用提取该源文件并将该文件放入 s3 存储桶的服务创建 lambda 或 EC2 实例。

我建议你这样做：

• 创建一个空的 S3 存储桶
• 使用提取源文件并将其加载到之前的 S3 存储桶中的服务创建 lambda 或 EC2 实例
• 在将新文件 PUT/上传到存储桶中时为之前的存储桶配置通知，以便通知 SNS 主题。
• 创建一个订阅了上一个 SNS 主题的 AWS lambda，该主题通过您的转换触发 Glue 作业。
• 创建一个 Glue 作业，从您创建的 S3 存储桶加载数据，执行转换并将其加载到 S3。