水槽或 kafka 相当于 mongodb

【问题标题】：flume or kafka's equivalent to mongodb水槽或 kafka 相当于 mongodb
【发布时间】：2013-08-02 15:51:04
【问题描述】：

在 Hadoop 世界中，flume 或 kafka 用于流式传输或收集数据并将它们存储在 Hadoop 中。我只是想知道Mango DB是否有一些类似的机制或工具来实现一些？

【问题讨论】：

【解决方案1】：

MongoDB 只是数据库层，而不是像 Hadoop 生态系统那样的完整解决方案。在需要处理和存储大量传入数据的情况下，我实际上使用 Kafka 和 Storm 将数据存储在 MongoDB 中。

【讨论】：

【解决方案2】：

尽管 Flume 经常被使用并被视为 Hadoop 生态系统的一员，但也并非不可能将其与其他源/接收器一起使用。 MongoDB 也不例外。事实上，Flume 足够灵活，可以扩展以创建您自己的自定义源/接收器。例如，请参阅此project。这是一个自定义的 Flume-Mongo-sink。

【讨论】：