【问题标题】:Lost executor driver on localhost: Executor heartbeat timed out本地主机上丢失的执行程序驱动程序:执行程序心跳超时
【发布时间】:2019-08-01 14:01:16
【问题描述】:

我正在调试一个 spark 应用程序in local mode。是否可以禁用超时以避免在调试会话中间发生火花崩溃,而不会产生不利影响?

您建议更改哪些与超时相关的参数以避免各种超时而不会完全崩溃火花?

目前我在 IntelliJ 中调试时遇到了这个问题:

本地主机上丢失的执行程序驱动程序:执行程序心跳超时后 129006 毫秒

【问题讨论】:

    标签: apache-spark


    【解决方案1】:

    将这两个添加到混合中:

     val spark = SparkSession.builder()
      .config("spark.network.timeout", "10000001")
      .config("spark.executor.heartbeatInterval", "10000000")
    

    【讨论】:

    • 谢谢。这些特定的较大值是被视为无穷大,还是仅按字面解释?
    • 不,它们没有任何特殊含义。
    猜你喜欢
    • 2020-05-06
    • 2014-11-01
    • 2013-01-29
    • 1970-01-01
    • 2017-05-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-09-15
    相关资源
    最近更新 更多