【发布时间】:2023-03-05 01:45:01
【问题描述】:
我对数据工程非常幼稚,但在我看来,流行的数据管道曾经是 Kafka 到 Storm 到某个东西......但据我了解,Kafka 现在似乎具有可能经常发生的数据处理能力使 Storm 变得不必要。所以我的问题很简单,在什么场景下 Kafka 可以做到这一切,在什么场景下 Storm 可能仍然有用?
【问题讨论】:
我对数据工程非常幼稚,但在我看来,流行的数据管道曾经是 Kafka 到 Storm 到某个东西......但据我了解,Kafka 现在似乎具有可能经常发生的数据处理能力使 Storm 变得不必要。所以我的问题很简单,在什么场景下 Kafka 可以做到这一切,在什么场景下 Storm 可能仍然有用?
【问题讨论】:
您仍然需要在某处部署 Kafka 代码,例如纱线。
另外,Kafka Streams 只能在同一个 Kafka 集群之间进行处理; Storm 还有其他的喷嘴和螺栓。
Kafka 没有集群调度程序的外部依赖,虽然您可以使用几乎任何流行的编程语言部署 Kafka 客户端,但它仍然需要外部工具,无论是 Docker 容器还是部署在裸机上。
如果有的话,我会说 Heron 或 Flink 是 Storm 的真正比较替代品
【讨论】: