【发布时间】:2017-07-12 22:27:01
【问题描述】:
我们使用官方 REST API 从 Hadoop 资源管理器中读取各种用户和应用程序的资源使用情况。我们的问题是应用程序历史记录的持续时间不够长,以至于它为使用的内核、内存和容器返回 -1 值。
我们想延长纱线存储数据的持续时间,但我们不知道在哪里设置值。
【问题讨论】:
标签: hadoop resources hadoop-yarn
我们使用官方 REST API 从 Hadoop 资源管理器中读取各种用户和应用程序的资源使用情况。我们的问题是应用程序历史记录的持续时间不够长,以至于它为使用的内核、内存和容器返回 -1 值。
我们想延长纱线存储数据的持续时间,但我们不知道在哪里设置值。
【问题讨论】:
标签: hadoop resources hadoop-yarn
您应该检查您的 mapred-site.xml 并查看 mapreduce.jobhistory.max-age-ms。如中所述:
当历史清理器运行时,超过这个毫秒数的作业历史文件将被删除。默认为 604800000(1 周)。
如果您想了解资源使用情况,您应该考虑使用 Job History 服务器的 Job API 和 Job Counters API。 RM REST API 显示的是瞬时使用量而不是累积使用量。
【讨论】: