在 Scala 交互式 shell 中执行时对 MLlib 算法进行计时

【问题标题】：Timing MLlib algorithms when executed in Scala interactive shell在 Scala 交互式 shell 中执行时对 MLlib 算法进行计时
【发布时间】：2014-11-25 21:51:43
【问题描述】：

我正在使用 Spark 的 Scala（交互式）Shell 来试验 MLlib 算法，例如奇异值分解 (SVD)，通过将它们应用于不同大小的数据集。有没有办法找出算法在 Shell 中执行时的执行时间？

【问题讨论】：

标签： scala apache-spark

【解决方案1】：

Spark shell 作业状态在 Web 界面，主节点的 3030 端口可用。

打开资源管理器，输入网址http://MASTER_HOSTNAME:3030

3030 端口允许您跟踪作业的进度和有关其执行的各种指标，包括任务持续时间和缓存统计信息。

其他有用的端口包括：

8080，整个 Spark Cluster 信息
7077，Spark Master 信息

参考：Data exploration using spark。

【讨论】：