【问题标题】:How to get Mesos Agents Framework Executor Memory如何获取 Mesos Agents Framework 执行程序内存
【发布时间】:2018-06-04 14:13:44
【问题描述】:

在 Mesos Web UI 中,我可以在表格中看到我的 Spark 执行器的内存使用情况

Agents -> Framework -> Executors

有一个表格列出了我的 Spark 驱动程序的所有执行程序,它们的内存使用情况在列 Mem (Used / Allocated) 中指示。

有没有办法通过链接直接获取这个号码,如果可以,怎么办?

例如,我可以通过http://IP/mesos/metrics/snapshot 获得一堆 Mesos 指标,但执行程序的内存使用量不是其中之一。

【问题讨论】:

    标签: apache-spark mesos


    【解决方案1】:

    executors的内存使用量其实和mesos task有关,意思是每个task的executors会消耗多少内存。

    如果以上是你需要的,你可以使用下面的rest api来获取一个json,然后从中解析使用的内存。

    http://mesos_ip:5050/master/tasks

    仅供参考。

    【讨论】:

    • 感谢您的信息。聚合运行任务可能有效(没有尝试过),但我发现可以更直接地访问我正在寻找的内存信息。看我的回答。
    【解决方案2】:

    自己找到了答案。对于执行器可能在其上运行的每个工作人员/代理,可以直接访问内存信息:

    http://IP_of_worker1:5051/slave(1)/monitor/statistics
    http://IP_of_worker2:5051/slave(1)/monitor/statistics
    等等

    内容是 json 格式,framework_id 允许查找相关的执行程序及其内存消耗、cpu 使用情况等。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2017-05-29
      • 2011-09-29
      • 2011-04-18
      • 1970-01-01
      • 2019-06-03
      • 2019-08-16
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多