【发布时间】：2014-11-18 01:09:34
【问题描述】：
我想在集群上运行 graphx 应用程序，其中包括具有不同 RAM 量的机器。 现在我尝试使用 spark 独立集群。但似乎我无法调整每台机器的 spark.executor.memory 属性。我对吗？
【问题讨论】：
标签： apache-spark
【发布时间】：2014-11-18 01:09:34
【问题描述】：
对我来说，如果您手动设置选项 spark.executor.memory，您的任务将在至少具有您手动提供的 RAM 数量的工作人员上启动。
所以通过使用这个选项，你需要有一个统一的集群。
默认情况下，每个工作人员都会使用其机器上所有可用的 RAM（操作系统减去 1Go），您只能限制要使用的 RAM 数量。我不知道您是否正在寻找“调整”一词。
http://spark.apache.org/docs/latest/spark-standalone.html（在 SPARK_WORKER_MEMORY 上搜索）
【讨论】：