使用 Spark 的副本集和 mongo-hadoop 连接器连接到 Mongo答案

【问题标题】：Connecting to Mongo with replica set and mongo-hadoop connector for Spark使用 Spark 的副本集和 mongo-hadoop 连接器连接到 Mongo
【发布时间】：2016-12-09 21:23:15
【问题描述】：

我有一个 Spark 进程，目前正在使用 mongo-hadoop 网桥（来自 https://github.com/mongodb/mongo-hadoop/blob/master/spark/src/main/python/README.rst）来访问 mongo 数据库：

mongo_url = 'mongodb://localhost:27017/db_name.collection_name'
mongo_rdd = spark_context.mongoRDD(mongo_url)

mongo 实例现在正在升级为只能通过副本集访问的集群。

如何使用 mongo-hadoop 连接器创建 RDD？ mongoRDD() 转到 mongoPairRDD()，它可能不接受多个字符串。

【问题讨论】：

标签： mongodb apache-spark pymongo rdd replicaset

【解决方案1】：

MongoDB Hadoop 连接器mongoRDD 可以采用有效的MongoDB Connection String。

例如，如果它现在是一个副本集，您可以指定：

mongodb://db1.example.net,db2.example.net:27002,db3.example.net:27003/?db_name&replicaSet=YourReplicaSetName

另见相关信息：

【讨论】：