【问题标题】:How to update MirrorMaker 2 topics whitelist?如何更新 MirrorMaker 2 主题白名单?
【发布时间】:2020-05-28 21:08:52
【问题描述】:

我使用高级驱动程序运行 MirrorMaker2,如文档中的 here 所述,./bin/connect-mirror-maker.sh mm2.properties 在 k8s 部署中的 3 个 pod 中运行。

mm2.properties 文件如下所示:

clusters = source, dest

source.bootstrap.servers = ***:9092
dest.bootstrap.servers =  ***:9092

source->dest.enabled = true
dest->source.enabled = false

source->dest.topics = event\.PROD\.some_id.*

replication.factor=3

checkpoints.topic.replication.factor=3
heartbeats.topic.replication.factor=3
offset-syncs.topic.replication.factor=3

offset.storage.replication.factor=3
status.storage.replication.factor=3
config.storage.replication.factor=3

sync.topic.acls.enabled = false

这很好用,所有匹配event\.PROD\.some_id.* 正则表达式的主题都被复制。 现在,当我需要在白名单中添加其他主题时,我希望能够简单地缩小所有内容,更新正则表达式,然后再次扩大所有内容。

当我将白名单正则表达式更新为 source->dest.topics = event\.PROD\.(some_id|another_id).* 时,匹配 "another_id" 的主题会在 dest 集群中创建,但不会复制任何数据,并且 mirrormaker 似乎在提交偏移量时会丢失:

[2020-05-28 20:33:19,496] INFO WorkerSourceTask{id=MirrorHeartbeatConnector-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask:424)
[2020-05-28 20:33:19,496] INFO WorkerSourceTask{id=MirrorHeartbeatConnector-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTask:441)
[2020-05-28 20:33:19,499] INFO WorkerSourceTask{id=MirrorHeartbeatConnector-0} Finished commitOffsets successfully in 3 ms (org.apache.kafka.connect.runtime.WorkerSourceTask:523)

这是高级驱动程序的限制,还是我做错了什么?据我了解,能够将主题动态添加到白名单是 MM2 的动机之一。

【问题讨论】:

    标签: apache-kafka apache-kafka-mirrormaker


    【解决方案1】:

    我也在玩 mmv2。您可以尝试设置这些配置吗?我必须启用sync.topic.configs.enabled 参数,这样我的 mmv2 才能检测到新主题及其数据。

    refresh.topics.enabled = true
    sync.topic.configs.enabled = true
    refresh.topics.interval.seconds = 10
    

    Pd.- 我将我的回复添加为答案,因为我想粘贴配置。

    【讨论】:

    • 根据cwiki.apache.org/confluence/display/KAFKA/…这里的文档,前两个已经默认为true,刷新间隔为5秒。
    • 是的,我读到了同样的东西。但是没有用。我觉得我在 2.4.0 上尝试过,这给了很多问题。使用 2.5 我没有问题。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-28
    • 1970-01-01
    相关资源
    最近更新 更多