Spark shuffle 指标答案

【问题标题】：Spark shuffle metricsSpark shuffle 指标
【发布时间】：2016-10-11 18:35:51
【问题描述】：

我正在查看 spark 作业的偶数日志。有一个称为随机写入时间的指标，当我将所有随机写入时间相加时，运行 15 秒的作业得到 1846856495。

我的问题是，这次是什么单位？它似乎不是毫秒或微秒

【问题讨论】：

你能再分享一些日志吗？
您甚至可以从 spark UI 获取所有指标值。
Shuffle Write Metrics":{"Shuffle Bytes Written":5991746,"Shuffle Write Time":12773576,"Shuffle Records Written":1000000},"Input Metrics":{"Bytes Read": 0,"Records Read":0},"Output Metrics":{"Bytes Written":0,"Records Written":0},"Updated Blocks":[]}}
我知道我可以从 spark ui 获取指标，但我想在脚本中计算带宽并且需要使用日志。