1  增加参数 来控制消费次数 ,根据情况选择合适的参数即可,我这里修改为了10000.

   不设置的话,默认是拉取全部的数据,有可能引起内存溢出或者任务失败等问题。

.config("spark.streaming.kafka.maxRatePerPartition", 10000)

 

相关文章:

  • 2021-11-30
  • 2022-01-23
  • 2021-08-07
  • 2021-10-06
  • 2021-08-28
  • 2021-04-09
猜你喜欢
  • 2021-10-19
  • 2022-02-08
  • 2021-07-19
  • 2021-07-14
  • 2022-02-26
  • 2021-11-02
相关资源
相似解决方案