Kafka中的retention.bytes是否限制每个副本的分区大小或分区的所有副本组合的大小？

Question

我有一个 kafka 主题需要根据大小配置进行限制：retention.bytes。 该主题有 4 个分区。

每个分区在 3 个不同的代理上都有 1 个领导者和 2 个副本。

说retention.bytes=1,073,741,824

是不是每个replica会被限制为1GB，也就是说每个partition被限制为3GB的日志。

或者每个分区（总共 3 个代理上的日志）将被限制为 1GB 的日志？

Answer 1

retention.bytes 设置适用于每个分区。

例如，如果设置为1073741824，Kafka 将在每个分区中保留至少 1GB 的数据。因此，如果您有 4 个分区，则保留的数据总大小为 4GB。

所有副本都将具有相同的大小。因此，如果您有一个具有 4 个分区且复制因子为 2 且retention.bytes 设置为 1GB 的主题，则总大小（将分散到至少 2 个代理上）将为 8GB。