如何创建一个Kafka消费者库来消费多个主题

Question

我有“N”个 Kafka 主题，我需要根据业务逻辑在其中使用来自不同主题的消息。我需要处理/过滤它们并将其发送到服务总线。我不想创建 N 个 kafka 配置来使用消息。我只想将它作为一个库，我可以简单地将要选择的属性外部化并配置消费者。这样我就可以将业务逻辑放在我的应用程序中。以前有没有人做过这种实现。请让我知道这种方法的最佳实践。

已编辑：这是我的 KafkaConsumerConfig 的样子：

KafkaConsumerConfig.java

@Configuration
public class KafkaConsumerConfig {

    @Value("${spring.kafka.consumer.bootstrap-servers}")
    private String bootstrapServers;

    @Value("${spring.kafka.consumer.key-deserializer}")
    private String keyDeserializer;

    @Value("${spring.kafka.consumer.value-deserializer}")
    private String valueDeserializer;

    @Value("${spring.kafka.consumer.group-id}")
    private String groupIdConfig;

    @Value("${spring.kafka.consumer.auto-offset-reset}")
    private String autoOffsetResetConfig;

    @Value("${spring.kafka.consumer.client-id}")
    private String clientIdConfig;

    @Bean
    public KafkaReceiver receiver() {
        return new KafkaReceiver();
    }

    @Bean
    public ConsumerFactory<?, ?> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> properties = new HashMap<>();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, keyDeserializer);
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, valueDeserializer);
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, groupIdConfig);
        properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, autoOffsetResetConfig);
        return properties;
    }

}

Answer 1

您可以通过单个消费者订阅任意数量的主题

KafkaConsumer#subscribe(Collection<String> topics)