场景: kafka原有两个分区,添加一个分区后,一直运行的实时的spark任务  数据减少约3分之一

 

分析: spark 将kafka 的offsite维护在checkpoint 里面,当spark任务运行的时候,给kafka添加新的分区,原来的checkpoint只维护原来的两个分区的 offsite,新的分区的offsite 无法维护(checkpoint 只在第一次创建的时候,创建新offsite,以后只是维护)

 

解决方法: 删除spark的checkpoint 重新启动程序

 

通过查看日志可知(红色箭头为删除checkpoint前后的数据):

kafka添加 partion导致 spark 实时任务数据减少

删除前 spark 只接收 kafka 两个partion的数据;删除后 接收三个partion的数据

 

总结:kafka的分区一定要在创建topic的时候设置好,要不后续重设很麻烦

 

 

 

 

 

 

 

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-09-03
  • 2022-12-23
  • 2021-09-10
  • 2021-12-22
  • 2022-02-25
  • 2021-10-25
相关资源
相似解决方案