【发布时间】:2016-03-03 21:01:59
【问题描述】:
我有一个 Spark 作业,它使用 Spark ML 的逻辑回归来训练模型。在树聚合阶段的阶段详细信息页面下的 Spark UI 中,我看到一些状态为“GET RESULT”的任务。
这个状态是什么意思?是什么导致任务处于此状态?
【问题讨论】:
标签: apache-spark apache-spark-mllib apache-spark-ml
我有一个 Spark 作业,它使用 Spark ML 的逻辑回归来训练模型。在树聚合阶段的阶段详细信息页面下的 Spark UI 中,我看到一些状态为“GET RESULT”的任务。
这个状态是什么意思?是什么导致任务处于此状态?
【问题讨论】:
标签: apache-spark apache-spark-mllib apache-spark-ml
如果您检查TaskInfo,您会看到“获取结果”status 要求将gettingResult 设置为true,当gettingResultTime 不为零时会发生这种情况。
最后gettingResultTime代表:
任务开始远程获取结果的时间。如果 任务完成后立即发送任务结果(而不是发送 IndirectTaskResult 并稍后从块管理器中获取结果)。
总而言之,这意味着任务已经完成,并且从块管理器中获取结果。
【讨论】: