类型错误：sql() 缺少 1 个必需的位置参数：pyspark 中的“sqlQuery”

Question

我正在尝试估计 pyspark 3.0.1 在数据块上的数学分数比例。有些情况我的total_marks是0。所以我写了以下代码

 df_data.registerTempTable('myTable')
 df_oversees2=SQLContext.sql("select A.*,case when total_marks=0 then 0 else (maths_marks/total_marks) end as prop_maths from myTable A ")

但我收到错误消息

TypeError: sql() missing 1 required positional argument: 'sqlQuery'

你能帮我解决这个问题吗？ 我还使用以下代码验证了我的 total_marks 和 maths_marks 存在于我的表中

df1 = sqlContext.sql("select maths_marks,total_marks from myTable")
df1.show()

我看到了两个字段的输出

Answer 1

SQLContext 与 sqlContext 不同 - 后者是附加到 SparkContext 的 SQLContext，而前者是不附加到任何 SparkContext 的类。因此，您需要这样做：

sqlContext = SQLContext(sc)
df_oversees2 = sqlContext.sql("your query")

无论如何，它已被弃用，更好的方法是调用

spark.sql("your query")

其中spark 是sparkSession 对象。