如何直接通过 Pyspark 控制台增加容器内存限制？答案

【问题标题】：How to increase container memory limit through Pyspark console directly?如何直接通过 Pyspark 控制台增加容器内存限制？
【发布时间】：2020-01-24 21:54:10
【问题描述】：

我在 16GB 节点上运行 Spark 作业并出现错误：

Container killed by YARN for exceeding memory limits.  5.6 GB of 5.5 GB physical memory used. 
Consider boosting spark.yarn.executor.memoryOverhead or disabling yarn.nodemanager.vmem-check-enabled because of YARN-4714.

如何直接在控制台中增加容器内存限制？（不是在打开 Spark shell 之前）？

【问题讨论】：

标签： python apache-spark memory pyspark

【解决方案1】：

试试

conf=SparkConf()
conf.set("spark.executor.memory", "12g")

【讨论】：

你必须先停止当前的spark，如果你使用spark2，使用spark.conf.set()