【问题标题】:Why does Apache Flink need much RAM为什么 Apache Flink 需要大量 RAM
【发布时间】:2020-04-30 20:29:18
【问题描述】:

我正在考虑在我的项目中使用 Apache Flink 来处理一些流数据。

但是,朋友告诉我 Flink 可能需要很多 RAM。另外,我发现了一些告诉我同样事情的东西:https://www.quora.com/What-is-the-difference-between-Apache-Flink-and-Apache-Spark

目前我对 Flink 的了解不多,我只是成功安装并运行了 Word Count 示例。

所以我想知道为什么 Flink 需要大量 RAM。主要原因是什么? Flink 本身的一些缺点?还是保存历史数据?还是别的什么?

我可以使用 Redis 之类的东西来避免这个问题吗?

【问题讨论】:

  • 多是什么意思?与 Spark 相比?问题很模糊。
  • @thebluephantom 我的意思是,如果有一天我使用 Flink 来处理我的流数据,我发现它会花费大量的 RAM,这是什么原因。

标签: apache-flink ram


【解决方案1】:

Quora 上的答案相当陈旧,缺乏细节。

这完全取决于您所说的“大量内存”是什么意思。我已经看到 Flink 在 Raspberry PI 集群上运行——请参阅https://hal.inria.fr/hal-02463206/document。有关这方面的另一种看法,另请参阅Extend Flink to edge computing with much lower footprint

开箱即用的配置旨在在广泛的用例中很好地工作。因此,如果您需要将 Flink 压缩到资源更受限制的环境中,则还有一些优化空间。

【讨论】:

  • @thebluephantom 是的,确实如此。
猜你喜欢
  • 1970-01-01
  • 2016-01-20
  • 2011-06-16
  • 2019-07-14
  • 2020-05-05
  • 2015-12-04
  • 2014-07-28
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多