了解 Hive MR 输出

Question

当我运行 Hive 语句并启动相应的 MR 作业时，它通常有如下一行：

Stage-Stage-1：映射：33 减少：131 累积 CPU：8006.47 秒 HDFS 读取：1280804751 HDFS 写入：279261996966 成功

总 MapReduce CPU 时间花费：0 天 2 小时 13 分 26 秒 470 毫秒

我对解释那句话有一些疑问。

1. 数字 1280804751、279261996966 的单位是什么？字节？块？有什么方法可以将它们转换为人类可读的格式？
2. “总 MapReduce CPU 时间花费”是什么意思？ “累积 CPU”是什么意思？

Answer 1

1. HDFS Read 和 HDFS Write 值以字节为单位。

2. Cumulative CPU 是该阶段的 MapReduce 作业的所有任务的总 CPU 时间。 Total MapReduce CPU Time Spent 是查询所有阶段的总 CPU 时间。在您的示例中，只有一个阶段，因此两个值具有相同的持续时间。