reduceByKeyAndWindow 有一个重载reduceByKeyAndWindow(func,invFunc,windowLength,slideInterval,[numTasks]),可以实现高效计算。它的原理是维护一个中间状态(结果),然后对增量(减量)进行计算。但同时也随之带来两个问题

1、必须维护中间状态,所以使用这个方法时,必须同时使用checkpiont。

2、因为有中间结果的存在,所以当某个key已经完全滑出窗口后,这个key依然还会在中间结果中维护

sparkstreaming reduceByKeyAndWindow 高效的同时带来的问题

随着时间的推移,如果key值量非常大的话,维护这个中间结果成本将很高。有没有什么办法既可以实现增量计算,又能及时的将无效的key移除中间结果呢?

相关文章:

  • 2022-02-18
  • 2021-09-16
  • 2021-07-28
  • 2022-12-23
  • 2021-06-25
  • 2021-10-02
  • 2021-06-17
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-08-15
  • 2021-05-11
  • 2021-12-02
相关资源
相似解决方案