AWS Glue 输出到流

Question

我刚刚开始熟悉 AWS 及其工具，并且一直在研究 Glue/DataBrew。我试图了解它是否适​​合我想到的流媒体用例，我可以清楚地看到大量关于将流媒体数据消费到 Glue 中的文档，但我找不到任何与从胶水作业发布流媒体数据相关的内容。

我想做的是从某个来源获取一个文件，使用 Glue 将其撕成组件记录，然后将每个单独的记录发布到流（Kinesis、SNS、Kafka 等）上。这对 Glue 来说可能吗？或者我在这里咆哮错误的树。

对于这种类型的用例，是否有更好更合适的 AWS 解决方案？

Answer 1

从某个来源获取文件

使用 S3... 将 AWS Lambda 触发器挂接到 S3 上传事件。

编写一个 Lambda 来下载这个文件的内容并解析它。

然后作为解析，您可以将事件发送到 SNS、MSK 或 Kinesis，或者写入 Athena、RDS、其他 S3 文件等...

当然，Glue 可能会将其中一些拼凑在一起，但对于简单的 ETL 工作负载，您并不“需要”它。