【发布时间】：2021-10-27 13:00:56
【问题描述】：
我正在尝试为我的 Kafka Connect Sink 指定一个主题分区。特别是，我使用的是DataStax Apache Kafka Connector。
有大量与为 Kafka Consumer 指定主题分区相关的文档和资源，例如：
- https://kafka-tutorials.confluent.io/kafka-console-consumer-read-specific-offsets-partitions/kafka.html
- consumer.How to specify partition to read? [kafka]
但是，我根本找不到任何关于如何指定给定 Kafka Connect Sink 连接器从哪个分区读取的信息。
似乎Confluent connector developer docs 暗示应该可以指定分区，但我看不到任何可以在通用Kafka Sink Configuration Properties docs 和DSE Kafka Connector configuration docs 中设置的配置。
我的理解是，Kafka Connect Sink 基本上是写入给定数据存储的 Kafka Consumer 的特定实现。如果是这样，应该可以指定一个分区，对吗？还是我误解了 Kafka 连接器的工作原理？
【问题讨论】：
-
为什么只需要获取特定分区？
-
@AlexOtt 我们正在考虑使用一个主题拓扑，我们从一个主题中消费，丰富数据，然后写回同一个主题但不同的分区。然后，Kafka Connect 将仅使用这些特定分区上的丰富数据。我认为这个想法是可以将这个主题作为一个单元进行扩展和管理。不过，我们可能可以通过使用两个单独的主题来解决这个问题
-
这不是非常可扩展的解决方案，而且很容易破坏某些东西。两个主题更好
标签： apache-kafka apache-kafka-connect datastax kafka-partition