Spark连接Mongodb

简介

MongoDB下载地址
 MongoDB Connector for Apache Spark，是用于Apache Spark的MongoDB连接器公开了Spark的所有库，包括Scala、Java、Python和R. MongoDB数据被具体化为数据流和数据集，用于使用机器学习、图、流和SQL api进行分析。

这里是Spark和MongoDB部署的一个典型架构。
Spark连接Mongodb

Spark任务一般由Spark的driver节点发起，经过Spark Master进行资源调度分发。比如这里我们有4个Spark worker节点，这些节点上的几个executor 计算进程就会同时开始工作；
每个executor会独立的去MongoDB取来原始数据，直接套用Spark提供的分析算法或者使用自定义流程来处理数据，计算完后把相应结果写回到MongoDB。
我们需要提到的是：在这里，所有和MongoDB的交互都是通过一个叫做Mongo-Spark的连接器来完成的。

实现方式

pom.xml文件

<dependency>
      <groupId>org.mongodb.spark</groupId>
<artifactId>mongo-spark-connector_2.11</artifactId>
      <version> 2.0.0 </version>
</dependency>

导包
```
import com.mongodb.spark._;
```

基本配置讲解

val conf=new SparkConf().setAppName("mongodbTest")
     .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")  //定义序列化方式
     .set("spark.mongodb.input.uri", "mongodb://10.211.55.7:27017/bigdata.person") //定义输入地址
     .set("spark.mongodb.output.uri", "mongodb://10.211.55.7:27017/bigdata.person") //定义输出地址
.set("spark.mongodb.keep_alive_ms", "10000000")  //定义链接时间