可以 kafka 连接 - mongodb 源作为集群运行（max.tasks > 1）

Question

我正在使用 kafka-connect 支持的以下mongo-source。 我发现mongo源的配置之一（来自here）是tasks.max。

这意味着我可以提供大于 1 的连接器 tasks.max，但我不明白它在幕后会做什么？

如果它会创建多个连接器来监听 mongoDb 更改流，那么我最终会收到重复的消息。那么，mongo-source 真的具有并行性并且可以作为集群工作吗？如果它有超过 1 个 tasks.max，它会做什么？

Answer 1

Mongo-source 不支持 tasks.max > 1。即使您将其设置为大于 1，也只有 一个 任务会将数据从 mongo 拉到 Kafka。

创建多少任务取决于特定的连接器。函数List<Map<String, String>> Connector::taskConfigs(int maxTasks)，（应该在你的连接器的实现过程中被覆盖）返回列表，它的大小决定了任务的数量。 如果您检查 mongo-kafka 源连接器，您会看到它是 singletonList。

https://github.com/mongodb/mongo-kafka/blob/master/src/main/java/com/mongodb/kafka/connect/MongoSourceConnector.java#L47