我可以使用单个 Kafka Connect 附加多个接收器配置吗？答案

【问题标题】：Can I attach multiple sink configurations with a single Kafka Connect?我可以使用单个 Kafka Connect 附加多个接收器配置吗？
【发布时间】：2019-01-10 04:42:17
【问题描述】：

我跟着 this link 用 Kafka Connect 配置 Cassandra Sink。

在博文中，我们首先启动 Kafka Connect。接下来，我们将 CassandraSink 配置发布到 Kafka Connect。

java -jar kafka-connect-cli-0.5-all.jar create cassandra-sink-orders < cassandra-sink-distributed-orders.properties

连接器cassandra-sink-orders:

name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=orders-topic
connect.cassandra.export.route.query=INSERT INTO orders SELECT * FROM orders-topic
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=demo
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra

现在我想使用相同的 Kafka Connect 附加不同的配置。当我这样做时，以前的 WorkerSink 会分离。有没有办法让它们都可以与单个 Kafka Connect 并行工作。或者我是否需要在其他端口启动另一个 Kafka Connect 并附加新配置？

最佳做法是什么？

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

你可以运行：

Kafka Connect 以 分布式模式 运行多个连接器。这对于单节点部署是有效的，并且具有易于横向扩展的优点——您只需添加更多节点，Kafka Connect 即可处理工作负载的分配。使用 REST API 控制 Kafka Connect 配置，as shown here 和 documented here。
Kafka Connect 在独立模式，并传递一个series of connector configs as commandline arguments。

【讨论】：