如何在 JAVA 中将 RDD 转换为 DStream？

Question

我检查了http://apache-spark-user-list.1001560.n3.nabble.com/RDD-to-DStream-td11145.html 并想在 JAVA 中做同样的事情。正确的做法是什么？

Answer 1

根据 javadoc，您可以这样做。

//Create list
List<SomePojo> somePojoList = ...;             

//Create rdd
JavaRDD<SomePojo> rdd = streamingContext.sparkContext().parallelize( somePojoList);
        java.util.Queue<JavaRDD<SomePojo>> queue = new LinkedList<JavaRDD<SomePojo>>();
        queue.add( rdd );
        JavaDStream<SomePojo> machineDataDstream = streamingContext.queueStream( queue );