多分区对应一个消费组的多个pod时

1.消息发送会根据多个分区自动分配一个分组内的多个pod

  -如果用单分区,则不用考虑多台机器同时消费的问题,能大大简化,但性能不高。

2.多pod同时消费,要考虑数据一致性问题,每个消息最好放入一个业务含义唯一的key

3.消费过程,重复-丢失,这两者是二选一的关系,这个一定要想明白。

4.一般选择可重复,不可丢失,利用唯一key,来防止重复消费时,产生的问题。

5.超时问题——为防止超时消费,自动commit无法触发,导致offset重置,一定要严格控制消费时间,或者放入其他线程,不阻塞。

6.手动commit模式:需要手动处理 数据丢失,数据重复

 

服务宕机后,消息堆积,疯狂消费导致再次崩溃

在充当消费者的服务出现问题宕机时,过段时间重启,会去消费之前大量堆积的消息,

该问题要考虑怎么平缓的处理,否则重启后,又会再次宕机。

问题:

1.有可能导致数据库连接池占满

2.有可能导致调用的其他服务,资源占满

解决方式:

控制消费的速度。

 

相关文章:

  • 2022-02-03
  • 2022-02-13
  • 2022-12-23
  • 2022-12-23
  • 2021-06-02
  • 2021-12-22
  • 2022-12-23
猜你喜欢
  • 2021-06-27
  • 2021-09-04
  • 2021-08-15
  • 2021-12-01
  • 2021-06-14
  • 2021-12-11
相关资源
相似解决方案