使用 Firehose 将 Kinesis Stream 传输到 S3 备份

Question

我正在使用包含客户交易的 AWS Kinesis Stream。我想在开始处理之前将事务备份到 S3 中。如何在不运行任何 Lambda 或其他计算组件的情况下使用裸 Kinesis Firehose 从 Kinesis Stream 备份事务？

Answer 1

您可以颠倒 Kinesis 构建块的顺序：

1. 不要写入 Kinesis Stream，而是写入定向到 S3 的 Kinesis Firehose。

2. 运行 Kinesis Analytics (KA) 应用程序以读取 Kinesis Firehose (KF) 中的事件，并将它们写入 Kinesis Stream (KS)。您可以使用 KA 的功能来执行一些过滤、聚合和连接，否则您将在代码（Lambda 或 KCL）中运行这些功能。