在 kafka_connect 中配置 __consumer_offset 以减少空间答案

【问题标题】：Configure __consumer_offset in kafka_connect to reduce space在 kafka_connect 中配置 __consumer_offset 以减少空间
【发布时间】：2020-06-19 11:41:56
【问题描述】：

我读到经纪人有一个配置来设置偏移数据保留多长时间offset.retention.minutes。我的 Kafka 架构由 3 个 ZK、3 个经纪人和 2 个 kafka 连接工作人员组成。我使用的设置来自这个post。我已将此配置设置为 10 分钟，但没有任何效果，但我仍然有错误，因为我的磁盘已满，我认为 __consumer_offset 是罪魁祸首。

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

offsets.retention.minutes

以下语句来自Kafka文档。

在消费者组失去所有消费者（即变为空）后，其偏移量将在此保留期内保留，然后被丢弃。对于独立消费者（使用手动分配），偏移量将在最后一次提交加上此保留期之后过期。

In Kafka 2.4.0 发布，添加了改进的 KAFKA-8730，它提供了手动删除 _consumer_offset (KIP-496) 的功能

在 KafkaAdminClient 类中，提供了 deleteConsumerGroupOffsets 函数。请通过以下 URL 了解有关此的详细信息。

https://github.com/apache/kafka/pull/7276

https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/admin/KafkaAdminClient.java

希望对你有希望。

【讨论】：

感谢@rohit-yadav 的回复，但在我的情况下，我使用 kafka 连接系统，并从 Debezium CDC 作为源和 JDBC 接收器生成消息进出依赖作为目标数据库的消费者，这我希望有一个我可以访问和调整的配置来管理我的consumer_offset 不是太高。我每个主题的保留计划大约是 1 小时或达到 1 GB 容量后

【解决方案2】：

我已经对消费者偏移设置的影响进行了一些研究。影响磁盘空间消耗的不仅是 consumer_offset，还有主题保留时间。所以在我的情况下，我使用基于大小和时间的保留，而不是只设置大小或时间。

【讨论】：