Spark、Akka、Storm 或 RxJava [关闭]

Question

我有一个用例，我每秒收到 10K 到 15K 条消息，有时也可能少于 5K，我现在将这些消息推送到 RabbitMQ 中，我应该解析这些消息，在上面运行一些 RE 并进行某种聚合并运行一些统计数据。由于存在一些业务限制，我的产品（数据管道）将部署在单机上。探索过 Spark Akka Storm 和 RxJava，你能建议我用什么吗？但我不想用纯 Java 做，因为这样我必须处理所有线程等。

Answer 1

根据我的经验，我会选择 Akka。您可以创建不同的参与者池以在不同的消息上同时执行某些任务。您还可以利用akka-camel 的强大功能，使用RabbitMQ Camel Component 拥有RabbitMQ 消费者。

您也许可以对 Storm 做同样的事情，但我个人没有太多经验来推荐它。

我不会选择Apache Spark，因为您需要使用Apache Spark Streaming，并且您需要了解如何为您的用例正确配置缓冲窗口。