如何使用 kafka connect Transforms 屏蔽/删除 JSON 列答案

【问题标题】：How to Mask / Drop a JSON column using kafka connect Transforms如何使用 kafka connect Transforms 屏蔽/删除 JSON 列
【发布时间】：2021-11-04 19:34:12
【问题描述】：

我正在使用 Kafka debizium MySQL 连接器，我正在尝试使用转换删除/屏蔽 json 列，

尝试了掩码字段，但它不起作用

transforms: "maskField",
transforms.maskField.type: "org.apache.kafka.connect.transforms.MaskField$Value",
transforms.maskField.fields: "data",

original :

{
  "id": "10001",
  "data": {
    "key1": "value1",
    "key2": "value2"
  }
}

expected :

{
  "id": "10001",
  "data": null
}

or 

{
  "id": "10001"
}

我怎样才能做到这一点，使用转换？？

【问题讨论】：

您是否遇到特定错误？如文档中所述，掩码字段转换仅适用于数字或字符串数据。您有一个无法工作的对象/地图，并且除了 Extract/Hoist 之外，没有任何现有的转换可以真正适用于嵌套数据格式
没有错误，而且我也没有看到任何转变，但是是的，这就是我的想法，谢谢。

标签： apache-kafka apache-kafka-connect

【解决方案1】：

还有这种方式：

“变换”：“替换字段”，

“transforms.ReplaceField.type”：“org.apache.kafka.connect.transforms.ReplaceField$Value”，

“transforms.ReplaceField.blacklist”：“field_name_here”

我不确定 %100，但你可以试一试。

【讨论】：