卡夫卡内存泄漏

【问题标题】：Kafka Memory leak卡夫卡内存泄漏
【发布时间】：2019-10-25 00:01:15
【问题描述】：

运行最新的 Kafka helm 图表 https://github.com/confluentinc/cp-helm-charts，我们遇到了呈指数级增长的巨大内存泄漏，导致我们的 GCP 集群在运行两天后崩溃。我已提出问题https://github.com/confluentinc/cp-helm-charts/issues/296，但无济于事。

我仍然无法追踪泄漏源，但我认为它可能来自 prometheus 导出器。

是否有任何已知的解决此问题的方法？

更新，

在图表值中禁用了 jmx，但我们仍然遇到大量泄漏，大部分来自控制中心 pod

【问题讨论】：

【解决方案1】：

有时，陷入崩溃循环的消费者会积累大量的内存。我们花了很长时间追踪一个相当快地填充 TB 信息的设备，结果它提交了崩溃日志作为记录。仔细检查消费者和生产者，以防万一

【讨论】：

我们只运行一个源连接器和两个 influxdb 接收器，它们似乎都运行良好。我们仍然无法缩小填充所有内存的范围
泄漏也出现在控制中心实例中，这让我认为这可能与指标有关
我得再考虑一下，哈哈，我会留下这个答案，以防其他人遇到它。你用的是什么版本的 Prometheus 和 Kafka？
@SamPalmer 没关系，最新的 Kafka，您是否查看了 jvm、主题、带宽信息等 jmx 指标？
使用 kafka cp-enterprise:5.2.1 和 solsson/kafka-prometheus-jmx-exporter，这是官方 helm 图表中的默认设置