Amazon-Kinesis：将记录放入每个分片

Question

我有一个由多个分片组成的 Amazon Kinesis 流。分片的数量，因此消费者的数量，不是一个常数。

我希望向流中的每个消费者广播一种不常见的事件类型。

生产者有没有办法广播记录，即发现碎片并将记录放在每个碎片上？

Answer 1

你可以做到！有点……

它使用参数“ExplicitHashKey”的技巧。

这可以让您设置用于记录的哈希键，因此可以让您选择您的数据正在进行的分片。

然后你可以调用

aws kinesis describe-stream --stream-name name-of-your-stream

获取有关每个分片的信息，包括每个分片所涵盖的哈希范围。

然后您只需将数据发送到每个分片（使用 PutRecord 或 PutRecords）就可以了。

不幸的是，没有“广播”，但您可以轻松编写一个 Lambda，使用 ExplicitHashKey 参数将相同的数据发送到每个分片。

另一种解决方案是使用单独的流并写入每个流。