【问题标题】:Kafka Streams Processor API UsageKafka 流处理器 API 使用
【发布时间】:2018-09-16 08:23:31
【问题描述】:

我可以在 Kafka Streams 中使用处理器 api 并从一个 kafka 集群中的主题读取数据并将数据通过管道传输到另一个 kafka 集群中的 kafka 主题中吗?

使用处理器 api 是否可行?我知道,使用 Stream DSL 是不可能的!

【问题讨论】:

  • 如果您自己在处理器中手动创建一个生产者对象是可能的,但如前所述,MirrorMaker 是用于此的官方内置工具
  • 如果您创建自己的KafkaProducer 实例,您将需要同步写入以保证至少一次处理。因此,预计性能会下降。这不是推荐的模式。

标签: apache-kafka apache-kafka-streams


【解决方案1】:

这对于 Kafka Streams 是不可能的。它仅适用于单个集群。

要跨集群复制数据,您需要使用MirrorMaker 或可用的复制器工具之一,例如Kafka source connector

【讨论】:

  • 感谢您的回复。镜像制造商有没有办法,我可以在目标集群中配置不同的主题名称。默认情况下,脚本期望两个集群中的主题名称相同!是否可以更改目标集群中的名称?
  • 默认情况下,MirrorMaker 无法实现,因此您必须自己实现它
  • 好的。谢谢。一个问题,我可以使用处理器 api 编写应用程序,并将 msgs 流式传输到另一个集群吗?您可以提供帮助的处理器 api 链接示例程序吗?
猜你喜欢
  • 1970-01-01
  • 2018-04-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-12-27
  • 1970-01-01
  • 2019-06-28
  • 2019-01-25
相关资源
最近更新 更多