kafka如何识别消费群体？

Question

我有这段代码来创建消费者平衡 在 pykafka 中：

consumer = topic.get_balanced_consumer(consumer_group='Testing',auto_commit_enable=True,zookeeper_connect='amsmgmt002:2181,nas5:2181,amsdblx006:2181')

如何管理消费者的状态 跨流程？

谢谢

Answer 1

来自pykafka readme：

您可以拥有多个使用主题的 BalancedConsumer 实例，因为该主题具有分区。如果它们都连接到同一个 zookeeper 实例，它们将与其通信以自动平衡它们之间的分区。 BalancedConsumer 使用的分区分配策略默认为“范围”策略。该策略可以通过 members_protocol 关键字参数进行切换，可以是 pykafka.membershipprotocol 公开的对象，也可以是 pykafka.membershipprotocol.GroupMembershipProtocol 的自定义实例。