以分布式模式运行kafka connect？

Question

我总共有 3 个虚拟机（CloudVPS）。他们每个人都安装了java，confluent开源。在 VM1 中，我正在运行 3 个 Splunk-sink-connector 进程，这些进程从不同的主题读取并在不同的端口上运行。并且使用 REST 调用，我将 JSON 配置发布到它们中的每一个。

由于我在分布式模式下运行，我还想利用其他 2 个 VM。谁能告诉我该怎么做，将其他 2 个 VM 添加到这 3 个进程中以实现并行处理。

Answer 1

您只需要在三个虚拟机follow the instructions here 上以分布式模式运行 Kafka Connect，并确保为它们提供相同的 group.id，这将它们标识为同一集群的成员（因此有资格共享他们之间的任务）。更多分布式模式配置细节here。

另见：

• https://rmoff.net/2019/11/22/common-mistakes-made-when-configuring-multiple-kafka-connect-workers/
• http://rmoff.dev/ksldn19-kafka-connect