维护传入流数据的时间戳序列

Question

所以我使用结构化流将一些 json 数据从 kafka 推送到 Spark。数据，以字典的形式，有一个字段“时间戳”。在解析 json 并为每个键获取单独的列之后，我注意到时间戳字段不在它被推送到 kafka 集群的顺序中，即

+----------+
| Timestamp|
+----------+
|     1    |
|     2    |
|     6    |  <--
|     4    |
|     5    |
|     7    |  <--
+----------+

有什么方法可以确保数据保持顺序？我能想到的一件事是在带有 output_mode="complete" 的时间戳上使用 orderby。还有其他有效的替代方案吗？ 谢谢。

Answer 1

Kafka 仅保证分区内的消息顺序。如果您想在 Kafka 中进行严格的排序 - 每个主题保留一个分区并保证在交付时排序。您可能希望实现“排序服务”，它从传入队列中读取消息并将消息写入只有一个分区的另一个队列。可以在各种博客文章中找到很好的解释和示例：here 或 here 等等。

在 Spark 中排序消息是最简单的选择。您应该考虑将有序结果保存或缓存到存储中以供重复使用。