【问题标题】:Delete __Consumer_offset Topic form Kafka从 Kafka 中删除 __consumer_offsets 主题
【发布时间】:2019-07-07 16:18:53
【问题描述】:
我正在尝试删除 Kafka 主题 __Consumer_offset,因为它给我的经纪人带来了很多困惑。
当我这样做时,它说这个主题不能被标记为删除。
我正在使用 zookeeper cli 删除它,例如 rmr /brokers/topic __consumer_offset,但它不起作用!
【问题讨论】:
标签:
apache-kafka
apache-zookeeper
kafka-consumer-api
kafka-producer-api
【解决方案1】:
AFAIK 您无法删除该主题。这是一个内部主题,不应手动删除。
如果必须,那么您将不得不手动清理/删除您的数据目录。当您部署 Kafka 代理和 Zookeeper 时,它会创建数据目录。
注意:删除数据目录会丢失所有主题和相关数据。所以这在生产环境中是不可行的选择。
【解决方案2】:
__consumer_offsets是kafka内部topic,不允许通过delete topic命令删除。它包含有关每个主题的已提交偏移量的信息:每组消费者(groupID)的分区。如果你想彻底清除它,你必须删除 zookeeper dataDir 位置。这意味着,您会丢失所有元数据。
此外,如果您只是想摆脱现有的消费者群体,您也可以重置偏移量或考虑删除它们。