【问题标题】:How does Debezium set the Kafka message timestampDebezium如何设置Kafka消息时间戳
【发布时间】:2021-07-14 10:17:21
【问题描述】:

我没有找到任何关于 Debezium 如何设置 Kafka 消息时间戳以及是否设置的文档。

通过比较值,Kafka 消息时间戳始终落后于数据库表更改的时间戳 (source.ts_ms),也落后于 Debezium 处理更改的时间 (ts_ms)。这表明 Kafka 消息时间戳只是 Kafka 代理设置为摄取时间的时间戳。

是否有人知道有关 Debezium 是否以及如何在其填充的接收器主题中设置 Kafka 消息时间戳的详细信息?

我正在使用适用于 SQL 服务器的 Debezium 连接器来解决这个问题。

【问题讨论】:

  • 不,还没有 - 我希望其他人已经这样做了 :-)

标签: apache-kafka debezium


【解决方案1】:

值得检查source.timestamp.mode 参数。根据文档(之前喜欢),其默认值 commit 应将 ts_ms 设置为记录提交到数据库的时间。

【讨论】:

  • 非常感谢,这是一个重要的配置值,在我的连接器配置中不应该设置错误。但它并没有说明哪个时间戳被用作 Kafka 消息时间戳(或者 Kafka 代理是否只是在这里使用摄取时间)。
【解决方案2】:

Debezium 既没有设置 Kafka Connect 时间戳,也没有设置 Kafka 消息时间戳。前者留空,后者由 Kafka Connect 管理。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-11-18
    • 2021-08-17
    • 1970-01-01
    • 2020-12-21
    • 1970-01-01
    • 2017-11-12
    • 2019-08-10
    • 2019-08-18
    相关资源
    最近更新 更多