Apache Flink vs Twitter Heron？答案

【问题标题】：Apache Flink vs Twitter Heron?Apache Flink vs Twitter Heron？
【发布时间】：2016-06-04 22:42:17
【问题描述】：

比较 Flink 与 Spark Streaming、Flink 与 Storm 以及 Storm 与 Heron 的问题有很多。

这个问题的起源是因为 Apache Flink 和 Twitter Heron 都是真正的流处理框架（不是微批处理，如 Spark Streaming）。 Storm 已于去年被 Twitter 停用，他们改用 Heron（这基本上是 Storm 的重新设计）。

Slim Baltagi 对 Flink 和 Flink vs Spark 做了很好的介绍： https://www.youtube.com/watch?v=G77m6Ou_kFA

Ilya Ganelin 对各种流式传输框架的出色研究： https://www.youtube.com/watch?v=KkjhyBLupvs

关于 Flink vs Storm 的一些有趣的想法： What is/are the main difference(s) between Flink and Storm?

但我没有看到任何新的 Storm/Heron 与 Apache Flink 的比较。

这两个项目都很年轻，都支持使用以前编写的 Storm 应用程序和许多其他东西。 Flink 更适合 Hadoop 生态系统，Heron 更适合基于 Twitter 的生态系统堆栈。

有什么想法吗？

【问题讨论】：

你看过 Twitter 上关于 Heron 的论文了吗？它描述了两个系统之间的主要区别。但请记住，自那篇论文发表以来，Storm 取得了很大的进步：dl.acm.org/citation.cfm?id=2742788 如果您了解 Storm 和 Heron 之间的区别并了解 Flink，您就会看到它与 Flink 的不同之处。

标签： twitter apache-storm apache-flink flink-streaming heron

【解决方案1】：

referenced article 比较 Apache Flink 和 Apache Storm 中的所有观点也适用于 Twitter 的 Heron。 Heron 提供与 Storm 完全相同类型的语义和功能。 Heron 最好简单理解为 Storm 的重新实现，更符合 Twitter 的运营要求。

【讨论】：

谢谢。是的，确实如此，但是 Heron 进行了优化，它可能支持动态拓扑修改和缩放等功能，这可能优于 Flink，后者尚不支持。事实上，Heron 是重新实现的 Storm 很有趣，因为它添加了新功能，改变了对现有框架的看法。
从 Storm 1.0 开始，系统得到了市长改进；因此，并非一切都是真实的。 Flink 也是如此……您应该始终比较不同的版本，或者至少记住，随着这些项目的快速发展，SO 的答案已经过时了。
对不起。澄清这正是我想说的。 Heron 没有添加任何与语义、处理保证、动态拓扑修改、动态缩放等相关的新主要功能。这些改进本质上是可操作的，但没有比 Storm 新的主要功能，在某些方面，Storm 实际上现在拥有更高级的功能.不过，Heron 非常适合 Twitter 的运营需求。

【解决方案2】：

Heron，由 twitter 开发并于 2018 年 2 月 26 日捐赠给 Apache 的流处理引擎。根据 Twitter，在所有实验中吞吐量比 Storm 高 10-14 倍，同样延迟比 Storm 的延迟低 5-15 倍。

它提供的其他吞吐量和延迟

易于调试（每个任务都在进程级隔离中运行）。
处理尖峰和拥塞（使用背压机制）。
完全向后兼容 Storm，这意味着只需要更改 pom 文件。

https://blog.twitter.com/engineering/en_us/a/2015/flying-faster-with-twitter-heron.html https://apache.github.io/incubator-heron/

【讨论】：

鼓励链接到外部资源，但请在链接周围添加上下文，以便您的其他用户了解它是什么以及为什么存在。始终引用重要链接中最相关的部分，以防目标站点无法访问或永久离线。
@baduker 感谢您的建议。已经从我的发现中提到了关键点，将为其添加更多上下文。
到 twitter.github.io/heron 的链接已经失效。