通过使用来自 Kafka 的 Spark 读取流来保证订单

Question

我有一个只有一个分区的有序 Kafka 主题。 我想从 Spark（Spark Streaming 或 Structured Streaming）中读取它。 为此，我使用了以下代码：

spark.readStream.format("kafka") ...

在控制台中写入以查看我使用的结果：

myStreamName.writeStream.trigger(Trigger.ProcessingTime("2 seconds")).format("console").outputMode("append").start

我在输出中看到流的所有记录都是有序的。但尽管如此，我在其他帖子中读过 Spark 并不能保证顺序。 看： Spark Direct Stream Kafka order of events

我的问题是： 由于我使用的是 Processing-time 并且我从 有序的 Kafka 主题 中读取数据，我可以确定我的输出始终是有序的吗？如果不是，是否可以仅使用一个 Spark 分区来保证有序输出（例如应用 coalesce() 方法）？

Answer 1

根据 Kafka API 合同，保证订购 Kafka 消费者。

但是，您正在写入的任何外部输出都可能会乱序触发。

我真的不认为这对大多数下游系统来说不是问题...例如，如果您要插入数据库，那么您可以在那里按时间重新排序。如果您有 TSDB，那么您实际上是在“回填”数据。

由于您要输出到控制台，这就是对您的 IO 的阻塞调用，因此，从一个线程（按顺序）读取一批 Kafka 事件，反序列化，然后在另一个线程上写入控制台（理想情况下在为了它们由 Spark 处理，但在这里调用 SparkSQL 排序 desc($"timestamp") 不会有什么坏处）。一旦完成，就可以提交 Kafka 偏移量，然后您继续从 Kafka 顺序读取（按偏移量顺序）......所有这些事件都不应该有任何这样的竞争条件，它们会出现故障。