2 个 kafka 消费者从具有不同 SSL 配置的 2 个不同主题中读取答案

【问题标题】：2 kafka consumers to read from 2 different topics with different SSL configuration2 个 kafka 消费者从具有不同 SSL 配置的 2 个不同主题中读取
【发布时间】：2019-04-01 08:51:52
【问题描述】：

我正在编写一个 Spring Boot 应用程序，它将使用 2 个不同的主题并处理消息。这 2 个主题托管在不同的集群上，并具有不同的 SSL 配置。我想创建 2 个不同的消费者来阅读主题。我正在使用 Spring-cloud-stream 和 kafka-stream。有关如何为此场景设置 application.properties 的任何帮助？

【问题讨论】：

标签： java apache-kafka spring-cloud-stream spring-kafka

【解决方案1】：

根据您的描述，您正在创建两个独立的微服务。

为什么要将它们合并到一个应用程序中？这违背了微服务的目的，从根本上违背了 spring-cloud-stream 作为框架的设计和目的。您是否考虑过未来的管理、维护、支持等？基本上我的意思是，由于资源共享（内存、CPU 等），这两个消费者相互依赖。

【讨论】：

虽然从问题中不清楚，但目的可能是计算这两个主题的输入之间的连接。还有许多其他原因，为什么您希望从两个不同的集群中读取同一个应用程序。
是的，所以让我们等待答案
@OlegZhurakousky 我试图创建的应用程序基本上是一个聚合器，它从 2 个不同集群中的 2 个主题中读取并处理所消耗的消息。我们可以用 Spring-kafka 做同样的事情。我想知道是否有任何方法可以使用 Spring-cloud-stream 或 Kafka-Stream。
我对Spring Cloud Streams了解不多。因此，此评论仅指 Kafka Streams。 Kafka Streams 中的拓扑只能从一个 Kafka 集群中读取数据。因此，在将数据与 Kafka Streams 组合之前，您必须将数据从一个集群复制到另一个集群。这也将使您接近 Oleg 提到的微服务方法。

【解决方案2】：

我同意@oleg-zhurakousky 的回答。但是，如果您想这样做，我建议您查看 Spring FactoryBean。

【讨论】：

有任何示例代码可以帮助我吗？