使用 MapReduce 处理 UDP 数据流

Question

我在使用 map reduce 系统的实时 UDP 流处理时遇到问题。实际上我正在做一个大学项目，我想使用 mapreduce 来处理这些数据。 UDP 流是关于从多个 AIS 设备发送数据。

据我所知，Apache Storm 将成为解决方案。但我不知道我可以将 mapreduce 合并到 Storm 中。我想结合 mapreduce 概念，最终我想学习它。

另外我想对系统架构有一些建议，正常流程是这样的，

系统接收到的UDP流 解码流 应显示实时分析 为将来的数据重试目的而存储。

所以任何人都可以建议最好的方法是什么？ Apache Storm 可以做到这一点吗？

Answer 1

我先回答一个简单的问题：是的，Apache Storm 可以做你想做的事。

也就是说，任何其他“大数据”流媒体工具也可以进行这种数据处理。这些工具包括 Storm、Spark 和 Samza。

如果我自己构建它，我会将流数据推送到消息队列中，可能是 Kafka，然后使用 Storm 将单个消息拉出并处理它们。然后，您可以根据需要存储结果。这可以在磁盘上，回到 Kafka，或者任何对你来说有意义的东西。

最后，mapreduce 似乎不太适合您的问题。 Mapreduce 用于批处理，这不是您所描述的问题。