(Linux AMI) `free` 命令的 EMR 集群版本

【问题标题】：(Linux AMI) EMR Cluster version of `free` command(Linux AMI) `free` 命令的 EMR 集群版本
【发布时间】：2019-04-23 05:22:52
【问题描述】：

当我从 AWS Linux AMI 启动 pyspark 时，我正在尝试为 spark 分配内存 - 即，当我调用 pyspark 时，将精确的参数传递给 driver-memory 和 executor-memory 参数。

我知道我可以在 Instance Types 页面上查看关于这个 EMR 集群的每个实例我有多少内存？的现成答案，但我想知道我是否可以从 aws cli 本身执行此操作（“实时”），这样我就可以看到在我的引导启动过程之后我实际使用了多少。

我也知道 Linux 中的 free 命令，但这似乎只给了我通过 ssh 连接到的主节点的空闲内存。我也知道 YARN UI 和 Hadoop API，但在这种情况下，如果可能的话，我想从命令行进行检查。

【问题讨论】：

【解决方案1】：

您正在查找的有关集群内存使用情况的信息将在纱线管理器中提供。

Yarn top

Yarn Manger 提供有关节点和使用的内存以及可用内存的信息。跟踪您的所有应用程序。

【讨论】：

是的，有效的答案。我也知道 Hadoop API 本身可以以编程方式执行此操作/如果我无权访问 YARN UI。但我想看看是否有办法直接从命令行执行此操作。
不错！我见过的最近的。似乎给出了所有VCores 和Mem(GB) 的总和，所以如果我没看错的话，它需要除以NodeManager(s) 的数量，所以不会完全/每个集群读数。但目前这是最热门的回应。