如何在 spark-sql CLI 中打印 SQL 查询？答案

【问题标题】：How to print SQL query in spark-sql CLI?如何在 spark-sql CLI 中打印 SQL 查询？
【发布时间】：2018-03-08 08:32:02
【问题描述】：

我正在使用 spark-sql 执行大型 SQL 文件。我想在 spark 执行它之前记录 SQL 查询，类似于 hive 详细模式。我已经尝试使用带有 -v 参数的 spark-sql CLI 来详细说明，但它仍然不打印 SQL 查询。

spark-sql -v \
<configuration parameters> \
-f abc.sql

Hive 命令：

hive -v \
<configuration parameters> \
-f abc.sql

是否还有其他我缺少的用于打印 SQL 查询的 spark 配置？

【问题讨论】：

您可以将查询存储为字符串。然后，如果您使用任何记录器，则在此处记录该字符串。类似于：- String sqlQuery= /*mysqlQuery*/; sparl.sql(sqlQuery)。 Logger.print(sqlQuery)
感谢您的建议。我正在使用 spark-sql CLI，它只允许运行 SQL 查询，无法访问任何对象，如 sparkContext、logger 或 sparkSession。

【解决方案1】：

spark-sql 详细模式为 --v，而 hive 详细模式为 -v。
以下命令适用于我-

spark-sql --v \
<configuration parameters> \
-f abc.sql

【讨论】：