【发布时间】：2017-03-02 09:24:26
【问题描述】：
Hadoop 为处理每个任务创建容器。容器的属性不同。 我想知道 Hadoop 中每个任务的容器属性。例如 Ram,cpu,....
有没有人知道它的工具？
谢谢
【问题讨论】：
-
你要使用纱线吗？
-
您有什么建议吗？
标签： eclipse hadoop mapreduce hadoop2
【发布时间】：2017-03-02 09:24:26
【问题描述】：
Bash 是你的朋友：
CPU_MILLISECONDS 用于 CPU 使用率
hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter CPU_MILLISECONDS
PHYSICAL_MEMORY_BYTES 用于内存使用
hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter PHYSICAL_MEMORY_BYTES
【讨论】：
-
谢谢，容器用于任务，我想要每个任务的 cpu 使用率和内存，
-
它是否显示每个任务的容器？两个命令都相同，是否正确？
-
我测试过，它显示错误！！！！！hadoop job -counter
org.apache.hadoop.mapreduce.TaskCounter CPU_MILLISECONDS bash: job_1488455362111_0001: 没有这样的文件或目录 -
没有''
-
~/hadoop/bin/hadoop job -counter job_1488455362111_0001 org.apache.hadoop.mapreduce.TaskCounter PHYSICAL_MEMORY_BYTES 已弃用：不建议使用此脚本执行 mapred 命令。而是使用 mapred 命令。 17/03/03 03:55:26 INFO client.RMProxy：在 /0.0.0.0:8032 连接到 ResourceManager 17/03/03 03:55:26 INFO mapred.ClientServiceDelegate：应用程序状态已完成。最终应用状态=成功。重定向到作业历史服务器 657403904