我可以忽略 org.apache.kafka.common.errors.NotLeaderForPartitionExceptions 吗？

Question

我的 Apache Kafka 生产者 (0.9.0.1) 间歇性地抛出一个

org.apache.kafka.common.errors.NotLeaderForPartitionException

我执行 Kafka 发送的代码类似于此

final Future<RecordMetadata> futureRecordMetadata = KAFKA_PRODUCER.send(new ProducerRecord<String, String>(kafkaTopic, UUID.randomUUID().toString(), jsonMessage));

try {
    futureRecordMetadata.get();
} catch (final InterruptedException interruptedException) {
    interruptedException.printStackTrace();
    throw new RuntimeException("sendKafkaMessage(): Failed due to InterruptedException(): " + sourceTableName + " " + interruptedException.getMessage());
} catch (final ExecutionException executionException) {
    executionException.printStackTrace();
    throw new RuntimeException("sendKafkaMessage(): Failed due to ExecutionException(): " + sourceTableName + " " + executionException.getMessage());
}

我在catch (final ExecutionException executionException) {} 块中捕获了NotLeaderForPartitionException。

是否可以忽略此特定异常？

我的Kafka消息发送成功了吗？

Answer 1

如果您收到NotLeaderForPartitionException，则您的数据未写入成功。

每个主题分区由一个或多个 Broker 存储（有一个领导者；其余的代理称为追随者），具体取决于您的复制因子。生产者需要向领导者代理发送新消息（向追随者的数据复制发生在内部）。

您的生产者客户端未连接到正确的代理，即连接到追随者而不是领导者（或连接到甚至不再是追随者的代理），并且该代理拒绝您的发送请求。如果领导者发生了变化，但生产者仍然有关于哪个代理是分区领导者的过时缓存元数据，则可能会发生这种情况。