Spark SQL如何查询Array [Struct]中的结构字段子集？

Question

我在 Hive 中有一个表，它有一个架构：

root
 |-- startdate: string (nullable = true)
 |-- enddate: string (nullable = true)
 |-- items: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- _id: string (nullable = true)
 |    |    |-- name: string (nullable = true)
 |    |    |-- .......: string (nullable = true)
 |    |    |-- otherfields: string (nullable = true)

我只想从 items 数组字段中获取 _id 和 name 列，即：

|-- items: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- _id: string (nullable = true)
 |    |    |-- name: string (nullable = true)

有没有一种方法可以做到这一点，而无需在 Spark 本身中进行额外的转换，以便只从 Hive 中检索实际的列？

我使用的是 Spark 2.2。

Answer 1

您可以尝试以下方法：

data.select("items._id", "items.name")

虽然它可能会导致：

root
 |-- _id: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- name: array (nullable = true)
 |    |-- element: string (containsNull = true)

在 Spark 2.4+ 中，您可以尝试利用 arrays_zip