在 Kafka 连接源连接器中使用消息密钥

【问题标题】：Use message key in Kafka connect source connector在 Kafka 连接源连接器中使用消息密钥
【发布时间】：2018-12-01 08:35:35
【问题描述】：

我正在使用 Kafka 连接 JDBC 源连接器来读取数据库中的视图并将其发布到 kafka，它工作正常。

我的用例是用户可以创建多个对象，并且对象的顺序在我的应用程序中很重要。我想使用用户 ID 作为我发布到主题中的所有消息的消息键来维护它们的顺序。

我的问题是如何在 Kafka 连接源连接器中定义消息键？

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

您可以通过将以下代码添加到连接文件源配置文件来使用 Kafka Connect 的 SMT（单消息转换）功能。

transforms=createKey
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=UserId <name of user id column>

更多关于SMT的信息here

【讨论】：

你也可以在这里看到一个例子：confluent.io/blog/…