使用spark.streaming.receiver.maxRate来限制你的吞吐的最大信息量。

因为当streaming程序的数据源的数据量突然变大巨大,可能会导致streaming被撑住导致吞吐不过来,所以可以考虑对于最大吞吐做一下限制。

相关文章:

  • 2022-12-23
  • 2021-07-31
  • 2021-12-20
  • 2021-04-09
  • 2021-08-10
  • 2021-09-04
  • 2021-04-18
猜你喜欢
  • 2021-12-16
  • 2022-12-23
  • 2021-08-23
  • 2021-06-20
  • 2021-09-02
  • 2022-12-23
相关资源
相似解决方案