处理 kafka broker 完整磁盘空间

Question

我们设置了一个 zookeeper quorum（3 个节点）和 3 个 kafka 代理。生产者无法将记录发送到 kafka --- 数据丢失。在调查期间，我们（仍然）可以通过 SSH 连接到该代理并观察到代理磁盘已满。我们删除了主题日志以清除一些磁盘空间，并且再次按预期运行代理功能。

鉴于我们仍然可以通过 SSH 连接到该代理（我们现在看不到日志），但我认为 zookeeper 可以听到该代理的心跳并且没有考虑它？处理此类事件的最佳做法是什么？

Answer 1

最好的做法是避免这种情况发生！

您需要监控代理的磁盘使用情况，并在可用磁盘空间不足时提前发出警报。

您需要对topics 设置保留限制，以确保定期删除数据。

您还可以使用主题策略（请参阅create.topic.policy.class.name）来控制创建/更新主题时允许的保留时间/大小，以确保主题不会填满您的磁盘。

您执行的恢复步骤没问题，但您真的不想填满磁盘以保持集群的高可用性。