【问题标题】:How long does the Hadoop Resource Manager store the application information?Hadoop 资源管理器将应用程序信息存储多长时间?
【发布时间】:2017-07-12 22:27:01
【问题描述】:

我们使用官方 REST API 从 Hadoop 资源管理器中读取各种用户和应用程序的资源使用情况。我们的问题是应用程序历史记录的持续时间不够长,以至于它为使用的内核、内存和容器返回 -1 值。

我们想延长纱线存储数据的持续时间,但我们不知道在哪里设置值。

【问题讨论】:

    标签: hadoop resources hadoop-yarn


    【解决方案1】:

    您应该检查您的 mapred-site.xml 并查看 mapreduce.jobhistory.max-age-ms。如中所述:

    https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

    当历史清理器运行时,超过这个毫秒数的作业历史文件将被删除。默认为 604800000(1 周)。

    如果您想了解资源使用情况,您应该考虑使用 Job History 服务器的 Job API 和 Job Counters API。 RM REST API 显示的是瞬时使用量而不是累积使用量。

    https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Job_API

    https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Job_Counters_API

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-02-22
      • 2015-04-15
      • 2015-02-05
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多