Mirrormaker 2 是否需要第三个 kafka 来进行镜像操作？

Question

我在使用 mirrormaker 2 时有一个问题。

Mirrormaker 2 基于 Kafka Connect 框架，可以将其核心视为 Kafka 源和接收器连接器的组合。所以在 MM2 架构中有源连接器和接收器连接器。但是 MM2 中的连接器是否有任何额外的 Kafka 集群？因为在kafka connect设计中； source 和 sink 连接器需要 Kafka 集群来移动数据。

例如 MM2 需要源和目标集群；我的问题是MM2是否需要第三个kafka来进行镜像操作而不使用源和目标集群？

另一个问题是MM2连接器可以在分布式模式下运行吗？我没有看到关于这个问题的任何配置？

例如在docker环境中；下面的配置是否足以在分布式模式下运行 MM2？

mirrormaker:
    image: 'wpietri/mirror-maker:2'
    environment:
      - SOURCE=source_ip:9092
      - DESTINATION=dest_ip:9092
      - TOPICS=test-topic
    deploy:
      replicas: 3
      mode: replicated

Answer 1

目前 MirrorMaker 2 是一组 Source 连接器。

源连接器从外部系统获取记录并将它们交给 Kafka Connect 运行时，后者将它们写入 Kafka。

对于 MirrorMaker 2，“外部系统”是另一个 Kafka 集群。所以要工作，MirrorMaker 2 只需要 2 个 Kafka 集群。一种是连接器获取记录（称为源集群），另一种是 Kafka Connect 连接到的（称为目标集群）。

MirrorMaker 2 连接器是标准的 Kafka Connect 连接器。它们可以在独立或分布式模式下直接与 Kafka Connect 一起使用。