Kafka 压缩：如何在单个消息级别进行压缩答案

【问题标题】：Kafka compression: How to do compression at single message levelKafka 压缩：如何在单个消息级别进行压缩
【发布时间】：2017-08-11 06:22:29
【问题描述】：

当我向 Kafka 主题发送消息时，我可能会收到一条比其他消息大得多的消息。

一组消息可以被压缩并表示为一个压缩的消息。

压缩是整批数据，所以分批的功效也会影响压缩比（更多的批处理意味着更好压缩）。;

我应该将批处理大小设置为一个/禁用批处理以在每个消息级别进行压缩吗？

【问题讨论】：

【解决方案1】：

压缩与是否批量生产的问题是正交的。虽然，如文档中所述：

更多的批处理意味着更好的压缩

压缩可以在主题级别 (https://kafka.apache.org/documentation/#topicconfigs) 或作为生产者配置的一部分 (https://kafka.apache.org/documentation/#producerconfigs) 设置。此外，同一主题中的不同消息可以使用不同的类型进行压缩，因为压缩类型是记录元数据的一部分（https://kafka.apache.org/documentation/#recordbatch），对消费者来说是无缝的。

但是，如果您需要选择性地压缩不同的消息，则无法使用同一个生产者来完成，因为生产者配置是静态的。无论做出这种选择的动机是什么，您都可以只创建两个生产者实例（一个支持压缩，一个不压缩），然后根据消息内容决定使用哪个生产者发送。

【讨论】：