【发布时间】：2016-05-10 00:03:44
【问题描述】：
我正在尝试对我的一个 spark 作业运行性能测试，该作业将数据加载到内存中，然后对数据执行 spark-sql 操作，最后将结果返回给用户。
我想知道作业在每个阶段需要多少时间：即火花作业将数据加载到内存中所用的时间以及作业完成其执行所用的时间。是否有任何好的分析工具可用于此。
如果没有，我可以使用已经可用的 spark UI/日志来获取此类信息吗？
或者，如果有任何其他方法可以获取此数据。
请注意，我是 Spark 的新手，所以请原谅任何不合逻辑/不相关的问题。
提前致谢！
【问题讨论】：
标签： apache-spark apache-spark-sql spark-streaming