apache spark 独立使用 casbah 通过 scala 连接到 mongodb

Question

我想对 5 个文件执行 Apache Spark map-reduce 并将它们输出到 mongodb。我宁愿不使用 HDFS，因为 NameNode 是单点故障 (http://wiki.apache.org/hadoop/NameNode)。

A.是否可以在 RDD 中读取多个文件，对所有文件中的一个键执行 map 缩减，并使用 casbah 工具包将结果输出到 mongodb

B.是否可以使用客户端从 mongodb 读取到 RDD，使用 casbah 工具包执行 map reduce 并正确输出回 mongodb

C.是否可以在 RDD 中读取多个文件，将它们与 mongodb 中存在的键映射，将它们简化为单个文档并将它们插入回 mongodb

我知道使用 mongo-hadoop 连接器可以实现所有这些。我只是不喜欢使用 HDFS 的想法，因为它是单点故障并且 backUpNameNodes 尚未实现。

我在网上看了一些东西，但不是很清楚。

MongoDBObject not being added to inside of an rrd foreach loop casbah scala apache spark

不确定那里发生了什么。 JSON 甚至看起来都不是有效的......

资源：

https://github.com/mongodb/casbah

http://docs.mongodb.org/ecosystem/drivers/scala/

Answer 1

是的。我没有使用过 MongoDB，但根据我在 Spark 上做过的其他事情，这些应该都是很有可能的。

但是，请记住，Spark 应用程序通常不是容错的。应用程序（又名“驱动程序”）本身就是单点故障。有一个关于该主题的相关问题 (Resources/Documentation on how does the failover process work for the Spark Driver (and its YARN Container) in yarn-cluster mode)，但我认为目前还没有一个很好的答案。

我没有运行关键 HDFS 集群的经验，所以我不知道单点故障有多大的问题。但另一个想法可能是在 Amazon S3 或 Google Cloud Storage 之上运行。我希望这些比你能做的任何东西都更可靠。他们拥有庞大的支持团队，投入了大量资金和专业知识。