kinesis 数据流中的分片是什么

Question

什么是 kinesis 数据流和分区键中的分片。我阅读了 aws 文档，但我不明白。谁能简单的解释一下？

Answer 1

来自Amazon Kinesis Data Streams Terminology and Concepts - Amazon Kinesis Data Streams：

shard 是流中唯一标识的数据记录序列。一个流由一个或多个分片组成，每个分片提供一个固定的容量单位。每个分片每秒最多可支持 5 次读取事务，最高总数据读取速率为每秒 2 MB，最高每秒写入 1,000 条记录，最高总数据写入速率为每秒 1 MB (包括分区键）。流的数据容量是您为流指定的分片数量的函数。流的总容量是其分片容量的总和。

所以，分片有两个用途：

• 一定量的容量/吞吐量
• 消息的有序列表

如果您的应用程序必须按顺序处理所有条消息，那么您只能使用一个分片。把它想象成银行里的一条线——如果有一条线，那么每个人都会按顺序得到服务。

但是，如果消息只需要为消息的某个子集排序，则可以将它们发送到单独的分片。例如，银行中的多条线路，每条线路按顺序提供服务。或者，想想一辆发送 GPS 坐标的公共汽车。每条总线仅向单个分片发送消息。一个分片可能包含来自多个总线的消息，但每个总线只发送到 一个 分片。这样，当处理来自该分片的消息时，来自特定总线的所有消息都会按顺序处理。

这是通过使用标识源的分区键来控制的。分区键被散列并分配给一个分片。因此，所有具有相同分区键的消息都将进入同一个分片。

在后端，通常每个分片有一个工作人员，按顺序处理来自该分片的消息。

如果您的系统不关心保留消息顺序，则使用随机分区键。这意味着消息将被发送到任何分片。