以 Parquet 格式将 Kinesis 消息持久保存到 S3

Question

我有 Kinesis 流，我的应用每秒向其写入大约 10K 条原始格式的消息。

我想以 parquet 格式将这些消息保存到 S3。为了事后方便搜索，我需要按用户 ID 字段对我的数据进行分区，这是消息的一部分。

目前，我有一个由 Kinesis 事件触发的 lambda 函数。它接收多达 10K 条消息，按用户 ID 对它们进行分组，然后将这些文件以 parquet 格式写入 S3。

我的问题是这个 lambda 函数生成的文件非常小，大约 200KB，而我想创建大约 200MB 的文件以获得更好的查询性能（我使用 AWS Athena 查询这些文件）。

天真的方法是编写另一个 lambda 函数来读取这些文件并将它们合并（汇总）到一个大文件中，但我觉得我错过了一些东西，必须有更好的方法来做到这一点。

我想知道是否应该按照this 问题中的描述使用 Spark。

Answer 1

也许您可以使用 AWS 提供的两项额外服务：

AWS Kinesis Data Analytics 使用来自 Kinesis Stream 的数据并对您的数据（组、过滤器等）生成 SQL 分析。在此处查看更多信息：https://aws.amazon.com/kinesis/data-analytics/

AWS Kinesis Firehose 在 Kinesis Data Analytics 之后插入。使用此服务，我们可以每 X 分钟或每 Y MB 在 s3 上创建一个 parquet 文件，其中包含到达的数据。在此处查看更多信息：https://docs.aws.amazon.com/firehose/latest/dev/what-is-this-service.html

第二种方法是使用 Spark Structured Streaming。因此，您可以从 AWS Kinesis Stream 读取数据，过滤不可用的数据并导出到 s3，如下所述： https://databricks.com/blog/2017/08/09/apache-sparks-structured-streaming-with-amazon-kinesis-on-databricks.html

P.S.：这个例子展示了如何输出到本地文件系统，但你可以将其更改为 s3 位置。