Spark Streaming - 批处理处于等待状态，应用程序什么也不做

Question

Spark Streaming UI 中的waiting batches 是什么意思？我启动了一个自定义网络接收器，在统计数据中我可以看到以下内容：

Time since start: 25 minutes 42 seconds
Network receivers: 2
Batch interval: 1 second 
Processed batches: 0
Waiting batches: 1
Received records: 0
Processed records: 0 

而接收者什么也不做。它仍在等待“等待某事”应用程序的真实状态是什么。里面发生了什么？我在文档中找不到任何内容。

Answer 1

我相信您的 spark 实际上正在做某事（可能需要很长时间？），因为等待批次是实际正在处理的批次 - see this。