Spark Streaming 在 DStream 上异步运行操作

Question

我正在编写一个数据摄取程序。从 Kafka 读取到 DStream 将 Dstrem 拆分为 3 个流并在每个流上执行操作：

val stream = createSparkStream(Globals.configs, ssc)
val s1 = stream.filter(<predicat1>)
val s2 = stream.filter(<predicat2>)
val s3 = stream.filter(<predicat3>)

//I'm looking for something like:
s1.forEachRddAsync(...
s2.forEachRddAsync(...
s3.forEachRddAsync(... 

如果可以在整个 DStream 而不是 RDD 上触发异步提交。

Answer 1

DStream 操作方法，虽然确实是阻塞的，但不处理数据。这些仅将DStream 注册为输出流。

StreamingContext启动后，会根据可用资源调度处理，如果允许，不相互限制处理。