官方 MongoDB Kafka 源连接器未发布干净的扩展 JSON答案

【问题标题】：The official MongoDB Kafka source connector does not publish clean extended JSON官方 MongoDB Kafka 源连接器未发布干净的扩展 JSON
【发布时间】：2021-01-15 07:45:36
【问题描述】：

我已经设置了一个非常简单的mongo kafka source connector 来将 mongo 的 oplog 流式传输到 kafka。但是，我看到在连接器发布的消息中，序列化的 oplog 事件不尊重extended JSON spec；例如，日期时间字段表示为：

{"$date": 1597841586927}

当规范说它应该被格式化为：

{"$date": {"$numberLong": "1597841586927"}}

为什么我没有得到干净的扩展 JSON？

注意：我的连接器配置文件如下所示：

{
  "name": "mongosource",
  "config": {
    "connector.class": "com.mongodb.kafka.connect.MongoSourceConnector",
    "tasks.max": 1,
    "connection.uri": "...",
    "topic.prefix":"mongosource",
    "database": "mydb",
    "copy.existing": true,
    "change.stream.full.document": "updateLookup",
  }
}

【问题讨论】：

标签： mongodb-kafka-connector

【解决方案1】：

源连接器的默认 json 格式化程序是旧的（请参阅连接器的 JIRA 项目中的this issue）。

从这个连接器的 1.3.0 版本开始，您可以添加一个新的配置选项来要求连接器输出正确的扩展 JSON：

"output.json.formatter": "com.mongodb.kafka.connect.source.json.formatter.ExtendedJson"

【讨论】：