使用 Hadoop 和 MongoDB 作为数据库而不是 HDFS 是否可行

Question

我正在Hadoop with MongoDB as Database 而非 HDFS 中进行研究。所以，我需要一些关于性能和可用性的指导。

我的场景

我的数据是

• 来自推特的推文
• Facebook 新闻提要

我可以从 twitter 和 Facebook API 获取数据。为了进行 hadoop 处理，我需要存储。

所以我的问题是，将 Hadoop 与 Mongo DB 一起使用来存储社交网络数据（如 Twitter 提要、Facebook 帖子等）是否可行（或有益）？还是最好使用 HDFS 并将数据存储在文件中。任何专业知识指导将不胜感激。谢谢

Answer 1

这样做是完全可行的。但这主要取决于您的需求。基本上，有了数据后你想做什么？

也就是说，MongoDB 绝对是一个不错的选择。它擅长存储非结构化、深度嵌套的文档，例如您的 JSON。您不必太担心数据中的嵌套和关系。您也不必担心架构。无模式存储无疑是使用 MongoDB 的一个令人信服的理由。

另一方面，我发现 HDFS 更适合平面文件，您只需选择标准化数据并开始处理。

但这些只是我的想法。其他人可能有不同的看法。我的最终建议是很好地分析您的用例，然后确定您的商店。

HTH