如何在单个 Kafka Streams 应用程序中连接到多个集群？答案

【问题标题】：How to connect to multiple clusters in a single Kafka Streams application?如何在单个 Kafka Streams 应用程序中连接到多个集群？
【发布时间】：2018-02-01 12:20:27
【问题描述】：

在Kafka Streams Developer Guide 中写道：

Kafka Streams 应用程序只能与单个 Kafka 集群通信由此配置值指定。未来版本的 Kafka Streams 将支持连接到不同的 Kafka 集群以读取输入流和写入输出流。

这是否意味着我的整个应用程序只能连接到单个 Kafka 集群，或者KafkaStreams 的每个实例只能连接到单个集群？

我可以创建多个具有不同属性的 KafkaStreams 实例连接到不同的集群吗？

【问题讨论】：

标签： apache-kafka apache-kafka-streams

【解决方案1】：

表示单个应用只能连接一个集群。

您无法从集群 A 读取主题并将计算结果写入集群 B。
不可能从具有相同实例的两个不同集群中读取两个主题。

我可以创建多个具有不同属性的 KafkaStreams 实例连接到不同的集群吗？

是的，当然。但是那些不同的实例将是不同的应用程序。（想想“消费者群体”。）

更新：

在单个 JVM 中，您可以创建任意数量的 KafkaStreams 实例。您还可以将它们配置为连接到不同的集群（如果您想要进行相同的处理，您可以为所有这些集群使用相同的KStreamBuilder）。

【讨论】：

我认为 mixiul__ 询问是否可以使用单个 Java 应用程序创建多个 KafkaStreams 实例，然后每个实例连接到不同的集群。
没错。对于上下文，我想在单个 Java 应用程序中使用来自两个不同集群的相同事件类型。我希望将我的处理逻辑放在一个可以实例化两次的类中，每个类都有自己的集群特定的 KafkaStreams 实例。
更新了我的答案：是的，你可以这样做。
“在单个 JVM 中，您可以创建任意数量的 KafkaStreams 实例。” 为什么要这样做？我很好奇这些用例可能是什么（来自受信任的来源）。
如果你想处理来自不同集群的数据。 -- 也就是问题是关于什么的。

【解决方案2】：

只是为了补充@Matthias J. Sax的出色答案。

这是否意味着我的整个应用程序只能连接到单个 Kafka 集群，或者 KafkaStreams 的每个实例只能连接到单个集群？

我认为这里有两个问题。

这取决于“我的整个应用程序”的定义，即它可能只是单个KafkaStreams 实例或单个JVM 上的多个实例，或者可能是单个JVM 上的多个KafkaStreams 实例作为 pod 执行的 Docker 容器中的 JVM。不管是什么，您都会发现“我的整个应用程序”有点过于宽泛，而且不是很精确。

关键是您无法创建可以与多个 Kafka 集群通信的 KafkaStreams 实例（因为配置是通过映射中键值对的属性），因此您可以回答你自己的问题，你不能吗？

无法在 Kafka Streams 应用程序中使用两个或多个 Kafka 集群是 Kafka Streams 和 Spark Structured Streaming 之间的区别之一（后者能够使用与您一样多的 Kafka 集群想要，因此您可以在不同的 Kafka 集群之间构建管道）。

【讨论】：