spark + yarn cluster：如何配置物理节点每次只运行一个 executor\task？答案

【问题标题】：spark + yarn cluster: how can i configure physical node to run only one executor\task each time?spark + yarn cluster：如何配置物理节点每次只运行一个 executor\task？
【发布时间】：2016-06-04 11:28:21
【问题描述】：

我有一个环境，它结合了 4 个物理节点和少量 RAM，每个节点都有 8 个 CPU 内核。我注意到 spark 会自动决定为每个 CPU 拆分 RAM。结果是发生了内存错误。我正在使用大数据结构，我希望每个执行程序都将在物理节点上拥有整个 RAM 内存（否则我会遇到内存错误）。我试图在 'yarn-site.xml' 文件上配置 'yarn.nodemanager.resource.cpu-vcores 1' 或在 spark-defaults.conf 上配置 'spark.driver.cores 1' 没有任何成功。

【问题讨论】：

标签： hadoop apache-spark hadoop-yarn bigdata

【解决方案1】：

尝试设置spark.executor.cores 1

【讨论】：

这没有提供问题的答案。要批评或要求作者澄清，请在他们的帖子下方留下评论。 - From Review
@Prune 这怎么不试图提供答案？这可能是完全错误的，but that doesn't mean we should abuse the review queues to delete it.
审计问题在这方面“训练”我的方式是，可能可行的事情的建议应该是评论，而不是一个答案。如果我被过时的审计问题误导了，我会很乐意改变。您是否有指向元讨论的指针，可以让我更好地处理问题的正确分界线？