Spark结构化流多个WriteStreams到同一个接收器

Question

在 Spark Structured Streaming 2.2.1 中，同一个数据库接收器的两个 Writestream 不会按顺序发生。请建议如何让它们按顺序执行。

val deleteSink = ds1.writestream
  .outputMode("update")
  .foreach(mydbsink)
  .start()

val UpsertSink = ds2.writestream
  .outputMode("update")
  .foreach(mydbsink)
  .start()

deleteSink.awaitTermination()
UpsertSink.awaitTermination()

使用上面的代码，deleteSink 在UpsertSink 之后执行。

Answer 1

如果你想让两个流并行运行，你必须使用

sparkSession.streams.awaitAnyTermination()

而不是

deleteSink.awaitTermination()
UpsertSink.awaitTermination()

在您的情况下，除非 deleteSink 将停止或抛出异常，否则 UpsertSink 将永远不会启动，正如它在 scaladoc 中所说的那样

等待this 查询终止，无论是query.stop() 还是异常。 如果查询因异常而终止，则将引发异常。 如果查询已终止，则对该方法的所有后续调用都将返回 立即（如果查询被stop() 终止），或者抛出异常 立即（如果查询因异常而终止）。