kafka-connect-elasticsearch：如何发送删除文件？答案

【问题标题】：kafka-connect-elasticsearch: how to send deletes of documents?kafka-connect-elasticsearch：如何发送删除文件？
【发布时间】：2020-04-05 07:42:50
【问题描述】：

我有一个如下所示的处理流：

mysql.database -> debezium-connector -> database topic -> faust.agent(stream processing to add a field) -> sink topic -> elasticsearch-sink-connector -> elasticsearch cluster

此处理流大部分都在工作，但我无法弄清楚如何处理来自数据库主题的已删除行事件。就像一行被删除一样，我希望它也从弹性搜索中删除。我可以在浮士德部分使用可以操纵事件的条件。有没有办法标记一个事件，以便当它被 elasticsearch-sink-connector 拾取时，它会删除给定的文档而不是添加它？我已经查看了文档，但我没有看到这方面的细节。接收器连接器是否仅用于将文档添加到索引？

【问题讨论】：

标签： elasticsearch apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

查看config for the connector 看起来您可以将behavior.on.null.values 设置为delete。然后，您只需要确保针对应删除文档的键设置墓碑（空）。

Debezium 将 by default 为删除生成墓碑消息。

【讨论】：