【问题标题】:How to sink MessagePack-encoded messages into MongoDB from Kafka如何将 MessagePack 编码的消息从 Kafka 下沉到 MongoDB
【发布时间】:2020-10-09 01:03:35
【问题描述】:

我有一个 Kafka 主题,其中的值是 MessagePack 编码的。

有没有办法使用 MongoDB Kafka 连接器将来自该主题的记录下沉到 MongoDB,或者必须将记录值简单地存储为 JSON?

【问题讨论】:

    标签: mongodb apache-kafka apache-kafka-connect msgpack mongodb-kafka-connector


    【解决方案1】:

    您需要找到或创建自己的 Kafka Connect Converter,然后将该包添加到每个 Connect worker 的类路径中,然后将其设置为您的键/值转换器设置,现有的 Mongo Sink 连接器可以从中反序列化消息转换成StructSchema 形式,并正确处理。

    JSON 从来都不是必需的。 Avro 和 Protobuf 也应该可以工作

    【讨论】:

      猜你喜欢
      • 2020-11-29
      • 1970-01-01
      • 2019-08-25
      • 2021-09-07
      • 2017-11-07
      • 1970-01-01
      • 2021-04-06
      • 2020-12-05
      • 1970-01-01
      相关资源
      最近更新 更多