【发布时间】:2019-08-01 14:01:16
【问题描述】:
我正在调试一个 spark 应用程序in local mode。是否可以禁用超时以避免在调试会话中间发生火花崩溃,而不会产生不利影响?
您建议更改哪些与超时相关的参数以避免各种超时而不会完全崩溃火花?
目前我在 IntelliJ 中调试时遇到了这个问题:
本地主机上丢失的执行程序驱动程序:执行程序心跳超时后 129006 毫秒
【问题讨论】:
标签: apache-spark
我正在调试一个 spark 应用程序in local mode。是否可以禁用超时以避免在调试会话中间发生火花崩溃,而不会产生不利影响?
您建议更改哪些与超时相关的参数以避免各种超时而不会完全崩溃火花?
目前我在 IntelliJ 中调试时遇到了这个问题:
本地主机上丢失的执行程序驱动程序:执行程序心跳超时后 129006 毫秒
【问题讨论】:
标签: apache-spark
将这两个添加到混合中:
val spark = SparkSession.builder()
.config("spark.network.timeout", "10000001")
.config("spark.executor.heartbeatInterval", "10000000")
【讨论】: