启动spark任务报错:ERROR SparkUI: Failed to bind SparkUI

       当启动一个spark任务的时候,就会占用一个端口,默认为4040,从日志可以看到当端口被占用时,它会默认依次增加16次到4056,如果还是失败的话,就会报错退出。

解决方法:

1. 使用spark-submit提交任务时,在脚本中加配置:--conf spark.port.maxRetries=128(亲测有效)

2. 在代码中初始化SparkConf时,设置conf.set(“spark.port.maxRetries”,“128”) (未测)

3. 在全局的spark-defaults.conf中添加spark.port.maxRetries 128 , 对所有的application起作用(未测)

 

 

 

 

相关文章:

  • 2021-08-02
  • 2021-06-11
  • 2021-08-03
  • 2022-12-23
  • 2021-09-10
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-07-17
  • 2021-04-14
  • 2022-12-23
  • 2021-10-24
  • 2021-10-17
  • 2021-10-25
相关资源
相似解决方案