【发布时间】:2016-11-18 20:23:18
【问题描述】:
我目前正在发展以下两种方式来消费和处理来自 Kafka Broker 的 JSON 消息
- Kafka -> Java 程序 -> Cassandra
- Kafka -> Spark 程序 -> Cassandra
同时,如果你们中的任何人以前这样做过,您能分享一下您的一两个主要观察吗?
我将在完成实验后分享我的。
谢谢
【问题讨论】:
-
有人会说你可以用 HashMap 和良好的 GC 调优来做任何事情。我是火花迷。我相信这个问题与这个问题无关。它非常广泛,也是基于我的选择。我投票关闭它。
-
嗨@eliasah 我知道这个问题是高层次的,但我假设每个刚开始使用 Spark 实施/学习的人都可能会遇到同样的疑问,如果可能的话,请尝试分享你的一些知识请让其他人通过保持问题开放来帮助我/任何新的火花学习者。谢谢。
-
我相信基准测试是确定选择的好方法。
-
嗨 @eliasah,感谢您的想法,我做了基准测试,发现 Spark 套件更适合我们的要求。
-
感谢您分享您的反馈!
标签: java apache-spark cassandra apache-kafka spark-streaming