使用 Spark SQL 读取带分号的 spark 列

Question

我正在尝试使用 Spark SQL 从包含 ;（分号）的数据框中读取一列。该列的名称是Profit & Gain。虽然在查询架构时列名的显示方式相同，但当我尝试使用 select 子句查询列时无法使用它。

spark.createDataFrame([[1,2],[2,3]], ["id", "Profit & Gain"]).createOrReplaceTempView("dex")

%sql select 
`Profit & Gain` from dex

错误是：

Error in SQL statement: ParseException: 
no viable alternative at input 'select \n`'(line 2, pos 0)

== SQL ==
select 
`Profit &amp
^^^

我知道';'在列名中绝对是一种不好的做法，但我想知道是否有办法克服这个问题。我尝试使用反引号将其括起来，但没有用。

注意：这似乎使用 pyspark 工作得很好，但 spark sql 却失败了。 我注意到的另一件事是，除了 ;（分号）之外的任何字符都可以完美地工作。

Answer 1

使用backticks 转义所需的列工作正常 -

sql.createDataFrame([[1,2],[2,3]], ["id", "Profit & Gain"]).createOrReplaceTempView("dex")

sql.sql("""
    select 
        `Profit & Gain`
    from dex
    """
).show()

+-----------------+
|Profit & Gain|
+-----------------+
|                2|
|                3|
+-----------------+