spark UI，SQL选项卡是什么意思？

Question

如果我的理解是正确的，Spark 应用程序可能包含一项或多项工作。可以将作业拆分为阶段，并且可以将阶段拆分为任务。我或多或少可以在 spark 用户界面中遵循这一点（或者至少我是这么认为的）。但我对 SQL 选项卡的含义感到困惑。

特别是：

• SQL 查询与作业和查询有什么关系？
• 在 SQL 选项卡中，我们还会看到数据帧操作还是仅提交查询，例如通过spark.sql()?

为了理解，我一直在运行一些示例，但仍然不是很清楚。你能帮帮我吗？

Answer 1

SQL 选项卡显示您认为的执行计划。它显示了阶段、运行时间、内存和操作（交换、投影等）。 Catalyst 会根据您的查询构建作业计划，无论您的查询是使用 spark.sql 还是数据集/数据框操作完成的。

您可以在此处找到更多信息：

如果应用程序执行 Spark SQL 查询，SQL 选项卡会显示信息，例如查询的持续时间、作业以及物理和逻辑计划。

https://spark.apache.org/docs/latest/web-ui.html