如何将流数据从 Amazon Kinesis Data Firehose 存储到 s3 存储桶

Question

我想改进我当前的应用程序。我在 AWS 中使用 ElastiCache 来使用 redis，以便从我的网站存储一些用户数据。

此解决方案不可扩展，我想使用 Amazon Kinesis Data Firehose 对其进行扩展以实现自动扩展流输出，使用 AWS Lambda 来修改我的输入数据，将其存储在 S3 存储桶中并使用 AWS Athena 访问它。

我已经在谷歌上搜索了几天，但我真的不知道 Amazon Kinesis Data Firehose 如何将数据存储在 S3 中。

Firehose 是否会将数据存储为每个将要处理的进程的单个文件，还是有办法将此数据添加到同一个 csv 中或将数据分组到不同的 csv 中？

Answer 1

Amazon Kinesis Data Firehose 将根据以下条件将数据分组到一个文件中：

• 数据大小（例如 5MB）
• 持续时间（例如每 5 分钟一次）

谁先达到限制将触发 Amazon S3 中的数据存储。

因此，如果您需要近乎实时的报告，请短时间使用。否则，请使用更大的文件。

一旦在 Amazon S3 中写入文件，它就不可变并且 Kinesis 不会修改其内容。 （不添加或修改对象。）