不存在偏移的 Kafka 消费者行为

Question

我是卡夫卡的新手，有些事情我不清楚。

1. Kafka 代理宕机，生产者宕机。
2. Kafka 代理宕机，消费者宕机。
3. 如果我们从一个不存在的偏移量开始，它会被无限打击。

Answer 1

1. 生产者不会关闭，它将选择另一个（实时）代理进行生产。如果没有其他实时代理，您将在生产者的响应中收到错误（无论如何它不会崩溃）。
2. 消费者不会关闭，消费者将重新平衡剩余（活动）分区。如果您对此代理上的分区进行了复制，则它们的领导者将发生变化。
3. 它不会卡住。这种情况下的行为取决于您在使用者配置 (https://kafka.apache.org/documentation/#newconsumerconfigs) 的 auto.offset.reset 中设置的内容。
   如果您将其设置为earliest，它会将偏移量重置为分区中最早可用的偏移量。
   如果将其设置为latest，它会将偏移量重置为分区中最新的可用偏移量。
   如果设置为none，则会向消费者抛出异常。

至于 1 和 2 - 如果您希望生产者/消费者在这种情况下停止，您可以通过一些编码来实现它。