我想使用 Kafka 10.2 附带的嵌入式 Zookeeper 3.4.9，而不是单独安装 Zookeeper。每个 Kafka 代理在 localhost 上总是有一个 1:1 Zookeeper。
如果我在主机 A、b、C、D 和 E 上有 5 个代理，每个代理都运行一个 Kafka 和 Zookeeper 实例，那么只运行 Kafka 提供的 Zookeeper 就足够了吗？
嵌入式 3.4.9 Zookeper 与独立版本相比有哪些缺点或配置限制？
【问题讨论】：
标签： apache-kafka apache-zookeeper
这些是不在与 Kafka 代理相同的机器上运行 zookeeper 的几个原因。
它们的缩放比例不同
5 zk 和 5 Kafka 有效，但 6:6 或 11:11 无效。即使对于相当大的 Kafka 集群，您也不需要超过 5 个 zookeeper 节点。与 Kafka 不同，Zookeeper 将数据复制到所有节点，因此随着您添加更多节点，它会变得更慢。
他们争夺磁盘 I/O
Zookeeper 对磁盘 I/O 延迟非常敏感。您需要将它与 Kafka 提交日志放在单独的物理磁盘上，否则您将面临风险，即大量发布到 Kafka 会减慢 zookeeper 并导致它从集合中退出，从而导致潜在问题。
他们争夺页面缓存内存
Kafka 使用 Linux 操作系统页面缓存来减少磁盘 I/O。当其他应用程序在与 Kafka 相同的机器上运行时，您会使用从 Kafka 缓存中带走的其他数据减少或“污染”页面缓存。
服务器故障会导致更多基础架构瘫痪
如果盒子重新启动，您会同时失去 zookeeper 和 broker。
【讨论】：
尽管 ZooKeeper 随每个 Kafka 版本一起提供，但这并不意味着它们应该在同一台服务器上运行。实际上，建议在生产环境中它们在不同的服务器上运行。
在 Kafka 代理配置中，您可以指定 ZooKeeper 地址，它可以是本地的或远程的。这是来自代理配置 (config/server.properties)：
# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=localhost:2181
您可以将 localhost 替换为任何其他可访问的服务器名称或 IP 地址。
【讨论】：
我们一直在运行您所描述的设置，有 3 到 5 个节点，每个节点运行一个 kafka 代理和在相同节点上随 kafka 分发一起提供的 zookeeper。到目前为止，该设置没有问题，但我们的数据吞吐量并不高。
如果我们要扩展超过 5 个节点，我们会将它们分开，这样我们就只扩展 kafka 代理，但保持 zookeeper 集成很小。如果 zookeeper 和 kafka 开始过度竞争 I/O，那么我们会将它们的数据目录移动到单独的驱动器。如果它们开始争夺 CPU，那么我们会将它们移动到单独的盒子中。
总而言之，这取决于您的预期吞吐量以及在开始引起争用时升级设置的难易程度。只要您可以灵活地使用更多节点升级您的设置并在以后引入分离，您就可以从小处着手，将 kafka 和 zookeeper 放在一起。如果您认为以后很难添加，最好从一开始就单独运行它们。我们已经在同一地点运行它们 18 多个月了，到目前为止还没有遇到资源争用。
【讨论】：