如何检查 kafka 主题的分区内存使用情况？答案

【问题标题】：How to check kafka topic's partitions memory usage?如何检查 kafka 主题的分区内存使用情况？
【发布时间】：2020-11-10 19:44:32
【问题描述】：

如何检查 kafka 中特定主题分区的内存使用情况？我试过这个“kafka-log-dirs.sh --describe ...”，但我不确定输出是什么意思：

                            "partition": "simpleTopic-8",
                            "size": 2752037376,
                            "offsetLag": 0,
                            "isFuture": false

这里的“大小”是什么意思？它是用于特定分区或内存使用的总内存吗？我在问，因为我将配置“retention.bytes=2147483648”设置为这个主题，所以如果“大小”只是内存使用量，我的保留不起作用。

【问题讨论】：

标签： apache-kafka kafka-topic

【解决方案1】：

size 中的输出就是您要查找的内容。

您的清理策略仍然运行良好，尽管它超出了您的 retention.bytes 配置中的设置。请记住，LogCleaner 只会删除旧/非活动段上的数据，retention.bytes 不提供 hard 最大值。您可以在Data still remains in Kafka topic even after retention time/size上的另一个答案中阅读更多相关信息

【讨论】：