将配额应用于 Kafka Connect 消费者组

Question

我有 Kafka Connect JDBC 接收器连接器写入各种数据库，我想限制一个数据库的流量。 Kafka quotas 功能可以为客户端 ID 设置 consumer_byte_rate 配额，但 Kafka Connect 客户端 ID 看起来像 consumer-1234 并动态分配给连接器。因此，如果我的接收器连接器被重新平衡，它将被分配所有新的客户端 ID。我尝试使用我的接收器连接器使用者组 ID 作为客户端 ID 设置配额，但这不起作用。有没有办法为 Kafka Connect 消费者组设置配额？

Answer 1

如果您升级到 Apache Kafka 2.3，您将受益于 KIP-411: Make default Kafka Connect worker task client IDs distinct 。您可以在here 中看到它的一个示例。但是，您必须测试客户端 ID 是否具有确定性，因为配额不能使用通配符。