接收到的流上的 Spark 流式打印答案

【问题标题】：Spark streaming print on received stream接收到的流上的 Spark 流式打印
【发布时间】：2016-11-11 08:42:25
【问题描述】：

我想要实现的基本上是每次收到数据流时打印"hello world"。

我知道在每个流上我都可以调用函数 foreachRDD 但这对我没有帮助，因为：

基本上，每次程序尝试获取数据时（由于火花流上下文，它每 30 秒这样做一次）我想打印你好。

有没有办法做到这一点？是否有类似 spark 流的在线监听事件？

【问题讨论】：

【解决方案1】：

每个批处理间隔（在您的情况下为 30 秒）DStream 将包含一个且只有一个RDD，它在内部被多个分区划分。您可以检查它是否不为空，然后才打印 hello world：

// Create DStream from source
dstream.foreachRDD { rdd => if (!rdd.isEmpty) println("hello world") }

【讨论】：