无法使用 Spark SQL 中具有正斜杠列的 Parquet 数据答案

【问题标题】：Unable to work with Parquet data having columns with forward slash in Spark SQL无法使用 Spark SQL 中具有正斜杠列的 Parquet 数据
【发布时间】：2016-06-18 04:10:44
【问题描述】：

我有一个 Parquet 文件，我可以在 Spark SQL 中加载 parquet 文件。但是 Parquet 文件有很多带有正斜杠的列，当我尝试使用这些列从表中获取数据时会导致问题。例如列名：abc/def/efg/hij

parqfile.registerTempTable("parquetTable")
val result=sqlContext.sql("select abc/def/efg/hij from parquetTable")

抛出以下错误。

org.apache.spark.sql.AnalysisException: cannot resolve 'abc' given input columns

【问题讨论】：

标签： scala dataframe apache-spark-sql parquet

【解决方案1】：

斜杠是保留字符，您需要在 SELECT 中使用反引号引用列名，如下所示：

val result=sqlContext.sql("select `abc/def/efg/hij` from parquetTable")

【讨论】：