记录一下工作中遇到的一个问题:

我首先消费topic,按照一个正则表达式的方式

kafka metadata.max.age.ms参数

可以消费到已经存在的topic:111_property_47_post、222_property_47_post

但是现在有一个新的topic:333_property_47_post 创建,并向其中生产了数据,在一定的时间内,是无法消费到这个topic中的数据的,这是为什么呢?

因为 metadata.max.age.ms 这个参数,元数据有效期毫秒值5601000(5分钟)

以毫秒为单位的时间段之后,即使我们没有看到任何分区领导改变以主动发现任何新代理或分区,我们强制更新元数据。

所以需要五分钟才会更新元数据(kafka),所以我们要修改这个参数的时间,让更短的时间去强制更新元数据。

kafka metadata.max.age.ms参数

这样就能在两分钟消费到新的topic的数据了

 

相关文章: