从 Kafka 流式传输到 Elasticsearch 时的主题映射

【问题标题】：Topic mapping when streaming from Kafka to Elasticsearch从 Kafka 流式传输到 Elasticsearch 时的主题映射
【发布时间】：2019-05-05 02:05:09
【问题描述】：

当我传输或流式传输两个和三个表时，我可以轻松地在 Elasticsearch 中进行映射，但我可以自动将映射主题映射到索引

我已经通过手动映射topic.index.map=topic1:index1,topic2:index2等将数据从PostgreSQL流式传输到ES。

我可以自动映射生产者发送的任何主题，然后消费者自动在 ES 连接器中消费吗？

【问题讨论】：

【解决方案1】：

默认情况下，主题直接映射到同名索引。

如果您想要“更好”的控制，可以在transforms 属性中使用RegexRouter

引用文档

topic.index.map

此选项现已弃用。未来的版本可能会完全删除它。请使用单个消息转换，例如RegexRouter，将主题名称映射到索引名称

如果您无法为连接器中的每个主题捕获单个正则表达式，则运行更多具有不同模式的连接器

【讨论】：