【发布时间】:2020-10-09 01:03:35
【问题描述】:
我有一个 Kafka 主题,其中的值是 MessagePack 编码的。
有没有办法使用 MongoDB Kafka 连接器将来自该主题的记录下沉到 MongoDB,或者必须将记录值简单地存储为 JSON?
【问题讨论】:
标签: mongodb apache-kafka apache-kafka-connect msgpack mongodb-kafka-connector
我有一个 Kafka 主题,其中的值是 MessagePack 编码的。
有没有办法使用 MongoDB Kafka 连接器将来自该主题的记录下沉到 MongoDB,或者必须将记录值简单地存储为 JSON?
【问题讨论】:
标签: mongodb apache-kafka apache-kafka-connect msgpack mongodb-kafka-connector
您需要找到或创建自己的 Kafka Connect Converter,然后将该包添加到每个 Connect worker 的类路径中,然后将其设置为您的键/值转换器设置,现有的 Mongo Sink 连接器可以从中反序列化消息转换成Struct 和Schema 形式,并正确处理。
JSON 从来都不是必需的。 Avro 和 Protobuf 也应该可以工作
【讨论】: