【问题标题】:Spark job throws “org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]”Spark 作业抛出“org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]”
【发布时间】:2021-07-31 01:06:47
【问题描述】:

我在 AWS EMR 上运行 Spark,但 spark 作业有时会抛出 org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]”

【问题讨论】:

    标签: apache-spark


    【解决方案1】:

    尝试增加spark.shuffle.io.connectionTimeout 间隔。 600 秒的值为我解决了这个问题。

    这是节点之间的网络问题。根据需要增加。

    【讨论】:

      猜你喜欢
      • 2017-04-28
      • 1970-01-01
      • 2016-08-21
      • 1970-01-01
      • 2021-08-10
      • 2014-01-25
      • 2020-07-27
      • 2018-02-02
      • 2018-12-02
      相关资源
      最近更新 更多