在多个节点上运行 kafka connect 分布式模式

Question

我正在测试一个 kafka 连接器的弹性，我想在它运行时杀死一个工人，从而杀死连接器实例。最简单的方法可能是强制分布式模式在多个节点上运行，然后杀死该节点上的工作进程（对吗？）。如何让 Kafka 不仅在它启动的节点上连接 spawn 工作人员？这是在工作人员配置中定义的吗？

Answer 1

所以最后我做的是：

• 将 Kafka Connect 分布式模式所需的所有 jar 复制到我想在其上运行它的两个节点（在 HDP 2.5.3 中，您只能在一个节点上获取这些 jar）。
• 在两个节点上，我运行了启动脚本，其中属性文件指向我的 jar。
• 使用 REST 界面，我将我的连接器发布到一个任务中，我可以看到一个工作人员拥有连接器实例，另一个工作人员拥有它的任务。
• 我杀死了任务工作节点（使用ps -ef | grep connect），并看到它已在剩余节点上重生。
• 我重置了测试并尝试关闭连接器实例节点，令我惊讶的是，连接器实例在另一个节点上重新启动。

总结我的弹性测试，Kafka Connect 似乎就像打地鼠一样；你可以在任何地方杀死任务或连接器，它们只会在其他地方重生。

Answer 2

是的，处理故障和自动重​​启工作负载正是 Kafka Connect 可以做的。您将它作为一个集群运行，通常每个节点一个工作人员。然后每个工作人员运行一个或多个任务，这由 Connect 管理。如果一个工作人员死亡，它正在运行的所有任务都会以负载平衡的方式在其他可用工作人员上重新启动。查看architecture reference 了解更多信息。

要将工作人员定义为集群内，请为它们分配相同的group.id。请参阅config docs 了解更多信息。