【发布时间】：2021-12-28 09:17:28
【问题描述】：
我正在尝试使用从数据块到雪花的查询下推。我正在从雪花（数据源）读取数据到数据块，创建数据框并应用连接、过滤和聚合函数。代码运行良好，但无法找到查询是否被推送到雪花。如何检查查询是否已在雪花或 spark(databricks) 集群上运行？
【问题讨论】：
标签： python pyspark snowflake-cloud-data-platform azure-databricks
【发布时间】：2021-12-28 09:17:28
【问题描述】：
至少有这两种方式：
-
使用 Snowflake UI 中的 History 查看查询是否在 Snowflake 端运行。
-
通过将上下文设置为 DEBUG，在 Spark 连接器上启用调试模式：
sc.setLogLevel('DEBUG')
【讨论】：