如何将kafka elasticsearch sink连接器中的文档ID设置为两个字段的组合？答案

【问题标题】：How to set a document id in kafka elasticsearch sink connector as a combination of two fields?如何将kafka elasticsearch sink连接器中的文档ID设置为两个字段的组合？
【发布时间】：2021-05-17 20:34:39
【问题描述】：

我有一个特定的 json，我需要将文档 ID 设置为两个字段的组合。

{
  "Event_start_time": "2021-05-16T08:27:21.164Z",
  "allbeat": {
    "heartbeat": {
      "pkt_loss_pct": 0,
      "type": "ping",
      "bu_id": 1,
      "minimum_rtt": 32.248,
      "jitter": 0.09999999999999788,
      "target_state": "Up",
      "average_rtt": 32.35,
      "maximum_rtt": 32.436,
      "tenant_id": 1,
      "target": "google.com",
      "port": 0
    }
  }
}

从上面的文档中，我们可以使用可用的 SMT 设置一个带有Event_start_time 和allbeat.heartbeat.target 组合的密钥吗？

【问题讨论】：

上次我检查过，内置 SMT 无法合并字段。并不意味着你不能自己写
不了解如何从官方文档部署自定义 SMT。
stackoverflow.com/questions/57604283/…

标签： apache-kafka apache-kafka-connect

【解决方案1】：

据我所知，没有可用的单消息转换可以做到这一点。您可以自己编写，也可以使用流处理（例如 Kafka Streams、ksqlDB）来完成

【讨论】：