【问题标题】:How to migrate Confluent's Apache Kafka Schema Registry < 5.2.0?如何迁移 Confluent 的 Apache Kafka Schema Registry < 5.2.0?
【发布时间】:2021-01-05 18:25:54
【问题描述】:

我需要迁移 Confluent Schema Registry 5.0.0。

Confluent 的文档是这么说的

从 Confluent Platform 5.2.0 开始,您可以使用 Confluent 用于迁移架构的复制器...

我希望早期版本也有一个工具可以做到这一点。我找不到任何内容,因此,我正在考虑编写一个脚本,使用Confluent's REST API 将一个模式注册表复制到另一个。

但是,在我开始编写它之前,也许有人知道更好的解决方案,或者已经存在的脚本可以做到这一点?

【问题讨论】:

  • 对于 5.2.0 之前的 Confluent Schemas Registry 作为 Confluent Replicator,没有“开箱即用”的解决方案。也没有办法控制模式注册表之外的模式 id 的分配。因此,不可能创建一个脚本,将一个模式注册表复制到另一个持久化相同 id 的模式注册表中。

标签: apache-kafka confluent-schema-registry


【解决方案1】:

更新:Confluent's Replicator 似乎也适用于旧版本的 Confluent 平台(如果它是源),因此如果您从旧版本 (>= 5.2.0) 迁移到新版本的 Confluent 平台(

Rest API 不起作用,因为您无法设置模式的 ID,因此复制主题时它们将不一样。

事实上,默认情况下,模式被写入名为 _schemas 的 Kafka 主题中。因此,要走的路是将主题从源复制到目标 Kafka 集群。

bin/kafka-console-consumer --bootstrap-server http://[source] --topic _schemas --from-beginning --property print.key=true --timeout-ms 1000 1> schemas.log


bin/kafka-console-producer --broker-list http://[destination] --topic _schemas --property parse.key=true < schemas.log

【讨论】:

    猜你喜欢
    • 2019-07-21
    • 2020-12-07
    • 2018-03-27
    • 1970-01-01
    • 2019-03-25
    • 1970-01-01
    • 2021-10-04
    • 1970-01-01
    • 2021-10-12
    相关资源
    最近更新 更多