Amazon Kinesis 流到 S3

Question

我有一个 Javascript 应用程序将实时数据写入 Kinesis 流。是否有任何现成的连接器可以将 S3 用作 Kinesis Stream 的消费者？就我而言，Kinesis Firehose 不是一个选项，因为还有另一个应用程序从 Streams 中读取数据以进行实时分析。与 Lambda 相同（我们不想在 AWS 上全力以赴）。我查看了公开 IRecordProcessor 的 KCL (KinesisClientLibrary)，它帮助我从 Stream 中捕获每条记录。我正在编写我的代码，它捕获每条记录并将其作为对象发送到 S3。在开始实施之前，我想知道是否有任何现成的连接器（在 Java 中）或者已经有人这样做了。谢谢。

Answer 1

Kinesis Firehose 现在可以直接从 Amazon Kinesis Streams 读取数据！ https://forums.aws.amazon.com/ann.jspa?annID=4904

还有另一个应用程序从 Streams 中读取数据以进行实时分析。 这应该是个问题了。

Kinesis Streams -> Your App -> Kinesis Firehose -> S3

请注意，Firehose 仅​​在美国东部（弗吉尼亚北部）、美国西部（俄勒冈）和欧洲（爱尔兰）区域提供，跨区域传输（例如，Streams@Mumbai -> Firehose@Ireland）尚不支持。