Spark Streaming 并行处理不同的 DStream，并在一个 DStream 内线性处理作业

Question

我有一个应用程序需要从 Kafka 队列中消费，以维护每个主题的批处理顺序。我为每个主题创建了不同的 DStream。但是当我运行它时，每个主题都是按顺序使用的。如果我设置“spark.streaming.concurrentJob=4”（n>1），那么主题是并行使用的，但在相同的主题批次内也并行处理。 （我需要避免） 有没有一种方法可以并行处理不同的 DStream，并在一个 DStream 中线性处理作业。

Answer 1

我不会创建多个作业，而是将源运算符的并行度设置为主题分区的数量。更多信息请参考这个link