【问题标题】:Delete __Consumer_offset Topic form Kafka从 Kafka 中删除 __consumer_offsets 主题
【发布时间】:2019-07-07 16:18:53
【问题描述】:

我正在尝试删除 Kafka 主题 __Consumer_offset,因为它给我的经纪人带来了很多困惑。 当我这样做时,它说这个主题不能被标记为删除。

我正在使用 zookeeper cli 删除它,例如 rmr /brokers/topic __consumer_offset,但它不起作用!

【问题讨论】:

    标签: apache-kafka apache-zookeeper kafka-consumer-api kafka-producer-api


    【解决方案1】:

    AFAIK 您无法删除该主题。这是一个内部主题,不应手动删除。

    如果必须,那么您将不得不手动清理/删除您的数据目录。当您部署 Kafka 代理和 Zookeeper 时,它会创建数据目录。

    注意:删除数据目录会丢失所有主题和相关数据。所以这在生产环境中是不可行的选择。

    【讨论】:

      【解决方案2】:

      __consumer_offsets是kafka内部topic,不允许通过delete topic命令删除。它包含有关每个主题的已提交偏移量的信息:每组消费者(groupID)的分区。如果你想彻底清除它,你必须删除 zookeeper dataDir 位置。这意味着,您会丢失所有元数据。

      此外,如果您只是想摆脱现有的消费者群体,您也可以重置偏移量或考虑删除它们。

      【讨论】:

        猜你喜欢
        • 2020-07-07
        • 2016-02-28
        • 1970-01-01
        • 1970-01-01
        • 2019-05-14
        • 2016-07-01
        • 1970-01-01
        • 2017-01-24
        相关资源
        最近更新 更多