火花动态分配执行器失败答案

【问题标题】：spark dynamic allocation executors failing火花动态分配执行器失败
【发布时间】：2016-05-02 19:34:41
【问题描述】：

我正在尝试在 spark 的独立模式下使用动态分配，以允许多个用户同时运行作业。我在 spark-defaults.conf 文件中启用了动态分配和随机播放服务：

spark.shuffle.service.enabled true
spark.dynamicAllocation.enabled true
spark.dynamicAllocation.minExecutors 0

当我尝试同时运行两个 pyspark shell 时，执行器失败并出现错误：

 ERROR TaskSchedulerImpl: Lost executor 7 on XXXX: 
 Remote RPC client disassociated. Likely due to containers exceeding 
 thresholds, or network issues. Check driver logs for WARN messages.

关于为什么会发生这种情况的任何想法或更好地使用动态分配的建议？

非常感谢！

【问题讨论】：

标签： apache-spark

【解决方案1】：

spark 动态分配用于在需要时减少或增加执行器的数量，由执行器的最大和最小数量定义。它与允许多个用户无关。在某种程度上，当 spark shell 持有资源而不使用它时，它会很有帮助，它会释放这些容器。请粘贴完整的错误日志，这可能是由于您请求的执行程序比您在 spark-defaults.conf 中定义的要多

【讨论】：