列出 Apache Kafka 中所有可用代理的命令是什么？答案

【问题标题】：What is the command to list down all the available brokers in Apache Kafka?列出 Apache Kafka 中所有可用代理的命令是什么？
【发布时间】：2023-04-03 01:45:02
【问题描述】：

我想在 Apache Kafka 中运行一个多节点集群。我制作了三个 server.properties 文件 - server、server1 和 server2。我还给出了不同的代理 ID 和不同的端口号。仍然在运行脚本 kafka-topics.sh 时复制因子为 3，它会抛出一个错误，指出复制因子：3 大于代理数：0

我使用了这个命令：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replica-topic

显示的错误是

执行主题命令复制因子时出错：大于 3 可用代理：0 kafka.admin.AdminOperationException：复制因子：比可用经纪人大 3：0 kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:70) 在 kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:171) 在 kafka.admin.TopicCommand$.createTopic(TopicCommand.scala:93) 在 kafka.admin.TopicCommand$.main(TopicCommand.scala:55) 在 kafka.admin.TopicCommand.main(TopicCommand.scala)

你能告诉我哪里出错了吗？

【问题讨论】：

您使用了哪些不同的命令来启动您的三个不同的 kafka 服务器？
命令非常简单： bin/kafka-server-start.sh config/server.properties ， bin/kafka-server-start.sh config/server-1.properties 和 bin/ kafka-server-start.sh 配置/server-2.properties 。所有这些服务器都有不同的代理 ID 和端口。
我也知道启动它们的命令，但尝试帮助您调试问题，您运行的确切命令可能会有所帮助。
我按顺序运行了这些确切的命令。我认为 server.properties 文件中有一些错误。我安装了 server.properties 的新副本，然后尝试按照相同的命令集再次运行 3 个服务器。那时它奏效了。无论如何，谢谢你的帮助。 :)
不客气，很高兴为您提供帮助。您能否通过添加有关您为解决问题所做的一些信息来回答您的问题？因此，如果有人稍后发现此问题，他们可以看到您为解决问题所做的工作。

标签： apache-kafka

【解决方案1】：

我认为你至少应该启动 3 个 kafka 服务器，以确保代理的数量大于或等于复制因子的数量：

首先我们为每个代理创建一个配置文件：

cp config/server.properties config/server-1.properties

cp config/server.properties config/server-2.properties

现在编辑这些新文件并设置以下属性：

config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1


config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2

broker.id 属性是集群中每个节点的唯一且永久的名称。我们必须覆盖端口和日志目录，只是因为我们在同一台机器上运行它们，并且我们希望阻止所有代理尝试在同一个端口上注册或覆盖彼此的数据。我们已经启动了 Zookeeper 和单节点，所以我们只需要启动两个新节点：

bin/kafka-server-start.sh config/server-1.properties

bin/kafka-server-start.sh config/server-2.properties

现在创建一个复制因子为 3 的新主题：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

【讨论】：