Spark 1.6 在数据帧保持分区字段中加载特定分区

Question

我们有一个像这样分区的 avro：

table
--a=01
--a=02

我们希望从保留分区列 a 的单个分区加载数据。 我找到了this stackoverflow question，并应用了建议的 sn-p：

DataFrame df = hiveContext.read().format(format).
option("basePath", "path/to/table/").
load("path/to/table/a=01")

但当我尝试读取字段 a 时，它会显示：

org.apache.spark.sql.AnalysisException: cannot resolve 'a' given input columns: [b, c, d]

在 Spark Java API 1.6 中是否可行？

Answer 1

简单地说，答案是……不，这是不可能的。