如何在 Kafka 流中使用实例特定主题？

Question

我有这个拓扑：

Topology topology = new Topology();

//WS connection processor
topology.addSource(WS_CONNECTION_SOURCE, new StringDeserializer(), new WebSocketConnectionEventDeserializer(), KafkaTopics.WS_CONNECTION_EVENTS_TOPIC)
    .addProcessor(SESSION_PROCESSOR, WSUserSessionProcessor::new, WS_CONNECTION_SOURCE)
    .addStateStore(sessionStoreBuilder, SESSION_PROCESSOR)
    .addSink(WS_STATUS_SINK, KafkaTopics.WS_USER_ONLINE_STATUS_TOPIC, stringSerializer, stringSerializer, SESSION_PROCESSOR)

//WS session routing
    .addSource(WS_ROUTING_BY_SESSION_SOURCE, new StringDeserializer(), new StringDeserializer(),
                    KafkaTopics.WS_DELIVERY_TOPIC)
    .addProcessor(WS_ROUTING_BY_SESSION_PROCESSOR, WSSessionRoutingProcessor::new,
                    WS_ROUTING_BY_SESSION_SOURCE)
    .addStateStore(userConnectedNodesStoreBuilder, WS_ROUTING_BY_SESSION_PROCESSOR, SESSION_PROCESSOR)

//WS delivery
    .addSource(WS_DELIVERY_SOURCE, new StringDeserializer(), new StringDeserializer(),
                    INSTANCE_SPECIFIC_TOPIC)
    .addProcessor(WS_DELIVERY_PROCESSOR,  WSDeliveryProcessor::new, WS_DELIVERY_SOURCE);  

拓扑中最后提到的来源是特定于每个应用实例的主题。我希望该主题仅由该实例处理。该主题的数据由前一个处理器推送，具体取决于哪个实例必须处理该消息。

但是一旦流启动，它就会尝试将特定于实例的主题分区也分配给其他实例。我们可以在 Kafka 流中实现这个要求吗？

我希望一个主题仅由特定实例处理。

Answer 1

你想要的都是不可能的。对于 Kafka Streams 程序，同一应用程序的所有实例需要完全相同，因此需要具有相同的输入主题。

您需要将您的应用程序拆分为 4 个应用程序：第一个应用程序执行程序的共享分区并写入 3 个不同的主题。此外，您还有 3 个应用程序（带有自己的application.ids），每个应用程序都从这些主题中读取一个。

请注意，如果需要，您可以在同一个 JVM 中运行多个 KafkaStreams 客户端。