使用 Datastax Spark Cassandra 连接器将 PairDStram 写入 cassandra答案

【问题标题】：Write PairDStram to cassandra using Datastax Spark Cassandra Connector使用 Datastax Spark Cassandra 连接器将 PairDStram 写入 cassandra
【发布时间】：2015-05-24 06:01:45
【问题描述】：

我需要使用 Java 和 Datastax Spark Cassandra 连接器将过滤后的流的数据写入 cassandra。

我关注了datastax java documentation。

文档说明了如何将 RDD 写入 cassandra，但没有说明如何编写 Dstream。

我需要能够保存 PairDStream 但我不知道该怎么做，因为所有示例都是用 scala 编写的。

我需要把下面用scala写的代码转成java的代码：

val wc = stream.flatMap(_.split("\\s+"))
    .map(x => (x, 1))
    .reduceByKey(_ + _)
    .saveToCassandra("streaming_test", "words", SomeColumns("word", "count"))

基本上我必须保存一个JavaPairDStream<String, Integer>

【问题讨论】：

您使用的是 Java 8 吗？ It has streams.

标签： java cassandra apache-spark spark-streaming

【解决方案1】：

解决方案，以防万一有人在寻找答案

要向 Cassandra 写入 DStream 或 JavaDStream，需要导入：

import static com.datastax.spark.connector.japi.CassandraStreamingJavaUtil.*;

并使用javaFunctions(DStream<T> arg0) 或javaFunctions(JavaDStream<T> arg0)

【讨论】：