【问题标题】:Elastic Sink Connector not working new version弹性水槽连接器不工作新版本
【发布时间】:2022-07-18 18:26:01
【问题描述】:

我使用的是“io.confluent.connect.elasticsearch.ElasticsearchSinkConnector”版本 13.0.0。

我正在为此连接器进行 SMT。但我收到以下错误。

发现与分配的分区不匹配的主题名称“es.contact3.model”。连接器不支持主题变异 SMT

即使我设置了“flush.syncronously”:“true”,我也得到了错误。

我的配置如下,

{
    "type.name": "_doc",
    "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "topics": "es.contact.model",
    "tasks.max": "1",
    "transforms": "Dealership",
    "key.ignore": "true",
    "input.data.format": "AVRO",
    "transforms.Dealership.type": "io.confluent.connect.transforms.ExtractTopic$Value",
    "transforms.Dealership.field": "indexTopicName",
    "schema.ignore": "true",
    "name": "ContactElasticSinkConnector",
    "flush.syncronously": "true",
    "connection.url": "http://192.168.1.7:19200",
    "transforms.Dealership.skip.missing.or.null": "true"
}

【问题讨论】:

  • 错误是自我描述的 - 连接器不支持主题变异 SMT。冲洗设置无关紧要。移除变换
  • 来自文章 (docs.confluent.io/kafka-connect-elasticsearch/current/…),当 flush.syncronously 配置属性设置为 true 时,这些 SMT 限制不适用于 Elasticsearch Sink 连接器。
  • 文档可能是错误的,并且是一个错误。我只是在阅读错误的内容
  • 此功能 (SMT) 是否会在未来的版本中再次出现?
  • 我不为 Confluent 工作;我无法回答。如果您认为自己发现了错误,可以创建支持票。我使用 Elasticsearch 的经验是提前为必要的名称创建索引映射。不是 SMT 不起作用,而是自动索引映射无法自行创建索引

标签: elasticsearch apache-kafka apache-kafka-connect confluent-platform


【解决方案1】:

我遇到了同样的问题,并决定尝试您在问题中所做的事情。 “flush.syncronously”中有一个错字:“true”。它应该是“flush.synchronously”:“true”。进行此更正对我有用。希望这会有所帮助。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-02-20
    • 2016-05-20
    相关资源
    最近更新 更多