在进行记录轮询时，是否可以让 Kafka 消费者覆盖/忽略其配置？答案

【问题标题】：Is it possible to make a Kafka Consumer override/ignore its configurations when doing a records poll?在进行记录轮询时，是否可以让 Kafka 消费者覆盖/忽略其配置？
【发布时间】：2022-09-22 21:52:39
【问题描述】：

我有一个 Kafka 消费者，应该在每次民意调查中消耗最少 1MB 的记录。然后将此数据写入文件并按日期分区存储 - 例如，应将 2022.09.22 期间使用的记录写入文件并存储到 date_id=20220922 文件夹。文件大小至少应为1MB。

对配置属性 fetch.min.bytes 和 fetch.max.wait.ms 进行了调整以获得所需的行为。但是，当新的一天发生时，问题就来了。在一天的变化中，消费者应该消费主题上的剩余记录（它小于1MB），而不必等待达到轮询大小阈值或等待时间超时。消费者应该对主题上可用的剩余记录进行一种“强制提取”。

是否可以覆盖消费者的配置来实现这种行为？

标签： apache-kafka

【解决方案1】：

这些属性就是它们的本质——如果不停止消费者并使用其他配置设置创建一个新的，就无法在运行时更改它们。

值得一提的是，来自 Confluent 的 HDFS/S3 接收器连接器已经有一个 Date 目录分区。它们也适用于本地存储，但是当您的 kafka 消费者是分布式的时，分布式存储更有意义

【讨论】：