【发布时间】:2018-10-16 04:41:43
【问题描述】:
在我的应用程序中,我想将数据从 MongoDB 流式传输到 Java 中的 Spark Streaming。为此,我使用了队列流,因为我认为我可以将 mongodb 数据保存在 rdd 上。但是这个方法不起作用或者我做错了什么。
有人从 mongodb 流式传输到 spark 流式传输吗?我的方法错了吗,如果是,正确的方法是什么?
我的代码在这里
package com.mongodb.spark.stream;
import java.util.Arrays;
import java.util.Collections;
import java.util.LinkedList;
import java.util.Queue;
import org.apache.hadoop.conf.Configuration;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.bson.BSONObject;
import com.mongodb.hadoop.MongoInputFormat;
import scala.Tuple2;
public class MongoStream {
public static void main(String[] args) {
Configuration conf = new Configuration();
conf.set("mongo.job.input.format", "com.mongodb.hadoop.MongoInputFormat");
conf.set("mongo.input.uri", "mongodb://192.168.1.149:27017/test.observations");
SparkConf spc = new SparkConf().setMaster("local[2]").setAppName("mongo");
JavaStreamingContext sc = new JavaStreamingContext(spc, Durations.seconds(1));
final Queue q = new LinkedList<JavaRDD<String>>();
final JavaPairRDD<Object, BSONObject> rdd = sc.sparkContext().newAPIHadoopRDD(conf, MongoInputFormat.class,
Object.class, BSONObject.class);
JavaRDD<String> words = rdd.flatMap(new FlatMapFunction<Tuple2<Object, BSONObject>, String>() {
private static final long serialVersionUID = -5974149698144908239L;
@Override
public Iterable<String> call(Tuple2<Object, BSONObject> arg0) throws Exception {
Object o = arg0._2.get("SensorId").toString();
if (o instanceof String) {
String str = (String) o;
str = str.replace("[.,!?|\n]", " ");
System.out.println(str);
q.add(str.split(""));
System.out.println("dsdssd : " + q);
return Arrays.asList(str.split(" "));
} else
return Collections.emptyList();
}
});
@SuppressWarnings("unchecked")
JavaReceiverInputDStream<String> rec = (JavaReceiverInputDStream<String>) sc.queueStream(q);
}
}
【问题讨论】:
-
请添加您的代码来说明您面临的问题。就目前而言,这个问题非常模糊。
-
@maasg 我添加了我的代码。
-
@vedat 在这种情况下您有什么明显的例外吗?还有哪个块在你的代码中不起作用,你调试了吗?
-
@İlkerKorkut,我调试了它,第一个 JavaRDD 块不起作用。根据我的研究,队列流支持 Queue
> 使用。为此,我创建了 JavaRDD 对象,但它不起作用。 -
能否分享您的错误日志(如果有)?
标签: java mongodb apache-spark spark-streaming