使用 Mongodb Hadoop 连接器进行分片答案

【问题标题】：Sharding With Mongodb Hadoop Connector使用 Mongodb Hadoop 连接器进行分片
【发布时间】：2014-10-29 03:12:33
【问题描述】：

您好，我的情况与此问题Hadoop HDFS MapReduce output into MongoDb中提到的情况相同

我只想使用 Hadoop 从 Mongodb 执行 Map Reduce (MR)，然后将输出作为集合写回 MongoDB。虽然上述问题尚未解决，但我对这种情况有更多问题。这里我需要将MR的输出写入MongoDB分片并正确分片。

我的问题，是否有可能做这样的场景，因为即使我使用 MongoDB（不是 Hadoop）做了那个 MR，我的输出也没有正确拆分到分片服务器中，并且在结果中得到了重复的输出。如果有可能怎么做？提前致谢。

【问题讨论】：

那么你的问题是什么？您将编写代码以写入 MongoDB 集合。这是 MapReduce 作业的本地或其他语言接口的 Java。您只是将输出写入集合。分片是您配置服务器的一部分，而不是您的应用程序的一部分。顺便说一句，未接受并不意味着未回答。

【解决方案1】：

是的。你像往常一样写信给 mongo。您的 mongo db 设置为在分片上运行这一事实是对您隐藏的细节。

【讨论】：