【问题标题】:Spark Job UI - time/duration values under the name of a stepSpark Job UI - 步骤名称下的时间/持续时间值
【发布时间】:2019-11-19 20:57:37
【问题描述】:
我有一个简单的问题 - Spark UI 中 WholeStageCodegen 矩形顶部的时间是多少?是处理时间吗?
【问题讨论】:
标签:
apache-spark
spark-ui
【解决方案1】:
是的,它是构成该步骤的任务的计算时间的总和。
括号中的其他 3 个值是任务花费的计算时间的最小值、中值和最大值。
- 最快的任务需要 64 毫秒才能完成
- 如果您按计算时间排序任务,则中间的任务需要 147 毫秒才能完成
- 最慢的需要 1.3 秒才能完成