Spring 和 Kafka：加入 3 个 Kafka 主题以生成输出 Kafka 流

Question

我需要加入 3 个 Kafka 主题。前两个主题 A 和 B 将使用内部连接添加，因为消息密钥相同，并生成一个新的 Kafka 流，其 POJO 与 B 相同。现在有了这个累积的流，我需要加入另一个主题 C，我需要对输出进行分组基于字段，该字段存在于 C 中。

到目前为止，我有以下方法：

KStream - 前两个主题（A 和 B）的 KStream 内连接 是否有可能不在任何主题上发布此累积输出，并且仍然可以在下面使用它

KStream - KStream（累积流和主题C之上）

您能否建议一种更好的方法或任何我可以在 java 中查看类似实现的示例。

Answer 1

您可以使用两个连续的连接：

KStream streamAB = streamA.join(streamB, ...);
// either:
KStream streamABC = streamA.selectKey(...) // set to the key as in streamC
                           .join(streamC, ...);
// or:
KStream streamCNew = streamC.selectKey(...); // set to the key as in streamAB
KStream streamABC = streamA.join(streamCnew, ...);
// or:
KStream streamCNew = streamC.selectKey(...); // set to a new join key
KStream streamABC = streamA.selectKey(...) // set to a new join key
                           .join(streamC, ...);

streamABC.selectKey(/* extract grouping field and set as key */).to("outputTopic");