带变量的 SQL 编译语句的 SparkSQL 等效项答案

【问题标题】：SparkSQL equivalent for SQL compiled statement with variables带变量的 SQL 编译语句的 SparkSQL 等效项
【发布时间】：2020-08-11 13:42:39
【问题描述】：

我需要高效地执行 SparkSQL 语句。例如。一次编译，多次执行（使用不同的参数值）。

对于一个简单的 SQL 示例：

select * from my_table where year=:1

其中 :1 是一个绑定变量，因此该语句只编译一次，并执行 N 次（使用不同的值），我需要相同的 SparkSQL 等价物。

类似的东西：

year = 2020
df_result = spark.sql("select * from my_table where year={0}".format(year))

不是我所期望的，因为不是真正的绑定变量，而只是一个特定的实例化句子。

【问题讨论】：

【解决方案1】：

根据您的数据存储位置、集群资源、表大小等...您可能考虑缓存整个表，这至少可以防止 spark 必须读取磁盘/每次执行查询时的 blob 存储

catalog = sparkSession.catalog

if catalog.isCached("my_table")):
  df_my_table.cache()

df_result = df_my_table.filter("year='" + str(year) + "'")

根据您的架构，可能有很多方法可以更好地做到这一点，但我在这里坚持使用 100% 基于 Spark 的解决方案

【讨论】：