卡夫卡，新存储答案

【问题标题】：Kafka, new storage卡夫卡，新存储
【发布时间】：2016-06-09 19:57:08
【问题描述】：

我正在尝试为 Kafka 添加新存储，这是我已经完成的：

du -csh /data1/kafka-logs/ 156K /data1/kafka-logs/

而且大小并没有增长，只使用了旧的 /data0。

我错过了什么？我应该做些什么来解决这个问题？存储快满了，/data1 还没用。

【问题讨论】：

【解决方案1】：

当您为 Kafka 添加新的数据存储路径时，旧数据不会在此磁盘上开始自动重新平衡。例如，当您创建新主题或增加现有主题中的分区数量时，将使用新的存储空间。

在这种情况下，如果您需要将一些数据移动到新磁盘，则需要使用手动数据重新平衡。更多详情见：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools

在你的情况下，为了防止磁盘空间完全耗尽，你可以在一段时间内减少主题的生命周期（retention.ms），否则broker会垮掉。

【讨论】：

【解决方案2】：

我只能猜测 - 但对我来说，听起来您没有创建新主题或增加当前主题的分区数量。 Kafka 不会将现有分区移动到新的 log.dir 中。根据kafka文档：

...创建的每个新分区都将放置在目录中当前具有最少的分区。 - https://kafka.apache.org/08/configuration.html

【讨论】：