【问题标题】:Does Zookeeper require SSD disks for Apache Kafka Clusters?Zookeeper 是否需要用于 Apache Kafka 集群的 SSD 磁盘?
【发布时间】:2020-02-19 18:51:32
【问题描述】:

我们要安装kafka集群和3个zookeeper服务器

kafka 应该使用 zookeeper 服务器,以便将元数据保存在 zookeeper 服务器上

ZK 数据和日志文件应位于磁盘上,与其他 I/O 活动的争用最少。理想情况下,ZK 数据和 ZK 事务日志文件应该在不同的磁盘上,这样它们就不会争用 IO 资源。

请注意,只有分区是不够的,它们必须是不同的磁盘才能确保性能。

那么剂量zookeeper服务器必须使用SSD磁盘?

如果是,zoo 磁盘作为 IO 等的最低要求是什么?

【问题讨论】:

    标签: apache-kafka apache-zookeeper disk solid-state-drive


    【解决方案1】:

    Confluent在生产环境中运行Zookeeper时推荐如下配置:

    磁盘
    磁盘性能对于维护健康的 ZooKeeper 集群至关重要。 强烈推荐使用固态硬盘 (SSD),因为 ZooKeeper 必须具备 低延迟磁盘写入以实现最佳性能。每个请求 ZooKeeper 必须提交到仲裁中每台服务器上的磁盘 在结果可供读取之前。至少一个专用 SSD 每个 ZooKeeper 服务器上的大小为 64 GB,建议用于生产 部署。您可以使用 autopurge.purgeInterval 和 autopurge.snapRetainCount 自动清理 ZooKeeper 数据和 降低维护开销。

    【讨论】:

    • 我从您的回答中看到推荐使用 SSD,但是对于 Zoo 磁盘作为 IO 等的最低要求是什么? ,能否详细介绍一下最低读/写速度等
    • @Judy 这取决于。 SSD 减少了 ZooKeeper 的写入延迟。您可以使用 SATA,但您应该期望更高的延迟。
    • 是的,但我要问的是数字的细节,例如说SATA磁盘满足要求,但如何知道IO的数量要求?
    • 在 confluent 旁边你还看到其他文档吗?
    • 但是这个问题没有明确的答案。这取决于您的应用程序和要求。最好的方法是测试多种配置并选择满足您要求的配置。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-11-20
    • 1970-01-01
    • 2018-07-25
    • 2021-06-01
    • 2019-04-12
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多