【发布时间】：2017-06-12 23:02:13
【问题描述】：
我在 Spark Streaming Job 中遇到了一个奇怪的行为。 我们使用 spark.streaming.concurrentJobs 的默认值，即 1。 相同的流作业正常运行了一天以上，批处理间隔设置为 10 分钟。 突然间，同一个作业开始同时运行所有进入的批次，而没有将它们放入队列中。
以前有人遇到过这种情况吗？ 这会很有帮助！
【问题讨论】：
-
10 分钟间隔是否足以完成单个作业？完成一项工作需要多少时间。
-
是的！一项工作在 5 到 6 分钟内完成。即使没有，其他作业也只能处于 QUEUED 状态，而不是 PROCESSING 状态。
-
您是否在 YARN 上运行 Spark 作业？
标签： apache-spark spark-streaming