将 Zookeeper 偏移量详细信息迁移到 Kafka

Question

我们使用的是以前版本的 Kafka(0.8.X)，其中所有偏移量详细信息都存储在 ZooKeeper 中。 现在我们转移到新版本的 Kafka（0.10.X），所有的主题偏移详细信息都存储在 Kafka 本身中。 我们必须将所有主题偏移详细信息移动到 ZooKeeper 到 Kafka，以用于生产中的现有应用程序。 Kafka 安装在 Windows 机器上。我们无法从 Windows 运行 kafka-consumer-groups.sh。 请建议如何将提交的偏移量从 ZooKeeper 迁移到 Kafka。

Answer 1

来自https://kafka.apache.org/documentation/#offsetmigration：

早期版本中的 Kafka 消费者默认将其偏移量存储在 ZooKeeper 中。可以按照以下步骤迁移这些消费者以将偏移量提交到 Kafka：

• 在您的使用者配置中设置 offsets.storage=kafka 和 dual.commit.enabled=true。
• 对您的消费者进行滚动反弹，然后验证您的消费者是否健康。
• 在您的使用者配置中设置 dual.commit.enabled=false。
• 对您的消费者进行滚动反弹，然后验证您的消费者是否健康。
• 如果您设置了offsets.storage=zookeeper，也可以使用上述步骤执行回滚（即从 Kafka 迁移回 ZooKeeper）。

我的猜测是“滚动反弹”意味着滚动重启。不知道它可能意味着什么，在这种情况下它是有意义的。