【问题标题】:Spark Job UI - time/duration values under the name of a stepSpark Job UI - 步骤名称下的时间/持续时间值
【发布时间】:2019-11-19 20:57:37
【问题描述】:

我有一个简单的问题 - Spark UI 中 WholeStageCodegen 矩形顶部的时间是多少?是处理时间吗?

【问题讨论】:

    标签: apache-spark spark-ui


    【解决方案1】:

    是的,它是构成该步骤的任务的计算时间的总和。

    括号中的其他 3 个值是任务花费的计算时间的最小值、中值和最大值。

    • 最快的任务需要 64 毫秒才能完成
    • 如果您按计算时间排序任务,则中间的任务需要 147 毫秒才能完成
    • 最慢的需要 1.3 秒才能完成

    【讨论】:

      猜你喜欢
      • 2019-04-24
      • 1970-01-01
      • 2016-08-08
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-01-09
      相关资源
      最近更新 更多