如何在 H2O 中将主节点的内存设置为多于工作节点的内存？答案

【问题标题】：How to set memory the master node more than workers nodes' memory in H2O?如何在 H2O 中将主节点的内存设置为多于工作节点的内存？
【发布时间】：2022-01-07 16:55:39
【问题描述】：

在我的算法中，主节点需要更多内存（比如 20GB），而工作节点需要更少的内存（比如 3GB）。但是，据我所知，在 H2O 中，仅可能使用 -mapperXmx 将主节点设置为与工作节点相同的内存。

在 Apache Spark 中，可以使用 --driver-memory 参数指定驱动程序内存。但是，我无法找到在 H2O 中设置“主/驱动程序”节点内存的等效方法。

我正在使用以下命令在 Hadoop 集群（主要是 YARN 集群）上运行 H2O（not Sparkling Water）： hadoop jar h2o-hadoop-3/h2o-cdh6.3-assembly/build/libs/h2odriver-3.33.1.jar -nodes 5 -mapperXmx 3g -output my/output/dir/on/hdfs。这样我就可以将工作节点的内存指定为 3GB。但是，我找不到指定主节点内存的参数。是否可以设置主节点20GB？

【问题讨论】：

我恭敬地请求您改写您的答案，以强调您正在寻找 H20 设置来调整主控。（Spark 有类似的工作/主/驱动术语，你不清楚你在寻求什么帮助。）
如果您说的是 H20 苏打水，您还应该参考您是在内部运行还是在外部运行。
@MattAndruff 感谢您的回复。我已经编辑了我的问题并添加了一些关于我的设置和集群环境的详细信息。

标签： java hadoop hadoop-yarn h2o

【解决方案1】：

主节点也称为“驱动程序”，所以是的，您可以设置驱动程序内存：spark.driver.memory 这是您可以调整的complete list of settings。

【讨论】：

感谢您的回答，但我的问题是关于 H2O.ai 而不是 Apache Spark
我的错。我的问题不清楚且具有误导性。我已经添加了更多细节。