Kafka Connect - 获取具有相关 ID UNKNOWN_TOPIC_OR_PARTITION 的元数据时出错答案

【问题标题】：Kafka Connect - Error while fetching metadata with correlation id UNKNOWN_TOPIC_OR_PARTITIONKafka Connect - 获取具有相关 ID UNKNOWN_TOPIC_OR_PARTITION 的元数据时出错
【发布时间】：2020-05-15 21:54:16
【问题描述】：

我们让 Kafka Connect 运行一个 postgres 连接器，它从数据库中提取更改并将它们放入主题中。我们收到一个错误

ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 1 messages

紧随其后

ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)

紧随其后

[2020-01-30 09:51:52,219] WARN [Producer clientId=producer-8] Error while fetching metadata with correlation id 606994 : {topicname=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)

我们已验证该主题确实存在，请对该主题进行描述，然后将其提供给我们

zookeeper-1 [root@XX /bin]# ./kafka-topics --describe --zookeeper <zookeeper>:2181 --topic topicname

Topic:topicname PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: topicname    Partition: 0    Leader: 2   Replicas: 2,3,1 Isr: 3,2,1

【问题讨论】：

可以分享配置文件吗？
我可以看看，你在找哪个配置？
@GiorgosMyrianthous 忘记在最后的评论中标记你。谢谢
您似乎遇到了网络问题。请显示您的服务器属性和连接器属性

标签： apache-kafka apache-kafka-connect debezium

【解决方案1】：

ERROR WorkerSourceTask{id=wem-postgres-source-0} 刷新失败，等待生产者刷新未完成的 1 条消息时超时

和

[2020-01-30 09:51:52,219] WARN [Producer clientId=producer-8] 获取相关 ID 为 606994 的元数据时出错：{topicname=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)

来自同一个问题。您是否尝试过访问您的 Kafka 集群或升级您的 Kafka？最新的kafka-topics 脚本使用代理主机而不是 ZooKeeper 主机来描述主题。

至于

ERROR WorkerSourceTask{id=wem-postgres-source-0} 未能提交偏移量 (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)

确保您的 Kafka Connect 的 offset.storage.topic 已在 Kafka 中创建。工人将偏移量刷新到这个主题中。

【讨论】：