【发布时间】:2022-07-18 18:26:01
【问题描述】:
我使用的是“io.confluent.connect.elasticsearch.ElasticsearchSinkConnector”版本 13.0.0。
我正在为此连接器进行 SMT。但我收到以下错误。
发现与分配的分区不匹配的主题名称“es.contact3.model”。连接器不支持主题变异 SMT
即使我设置了“flush.syncronously”:“true”,我也得到了错误。
我的配置如下,
{
"type.name": "_doc",
"connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
"topics": "es.contact.model",
"tasks.max": "1",
"transforms": "Dealership",
"key.ignore": "true",
"input.data.format": "AVRO",
"transforms.Dealership.type": "io.confluent.connect.transforms.ExtractTopic$Value",
"transforms.Dealership.field": "indexTopicName",
"schema.ignore": "true",
"name": "ContactElasticSinkConnector",
"flush.syncronously": "true",
"connection.url": "http://192.168.1.7:19200",
"transforms.Dealership.skip.missing.or.null": "true"
}
【问题讨论】:
-
错误是自我描述的 - 连接器不支持主题变异 SMT。冲洗设置无关紧要。移除变换
-
来自文章 (docs.confluent.io/kafka-connect-elasticsearch/current/…),当 flush.syncronously 配置属性设置为 true 时,这些 SMT 限制不适用于 Elasticsearch Sink 连接器。
-
文档可能是错误的,并且是一个错误。我只是在阅读错误的内容
-
此功能 (SMT) 是否会在未来的版本中再次出现?
-
我不为 Confluent 工作;我无法回答。如果您认为自己发现了错误,可以创建支持票。我使用 Elasticsearch 的经验是提前为必要的名称创建索引映射。不是 SMT 不起作用,而是自动索引映射无法自行创建索引
标签: elasticsearch apache-kafka apache-kafka-connect confluent-platform