带有包含地图的数组的数据帧上的 Spark 过滤器

Question

我有一个带有模式的数据框，它有一个嵌套的地图值数组：

root
 |-- array_of_properties: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- name: string (nullable = true)
 |    |    |-- props: map (nullable = true)
 |    |    |    |-- key: string
 |    |    |    |-- value: string (valueContainsNull = true)

我需要在数组内的映射中过滤结构名称和一些特定键的值。我可以过滤名称：

dataframe.filter(array_contains(col("array_of_properties.name"), "somename"))

如何在嵌套 props 映射中的两个键的值上添加 AND 过滤器（例如，键名 is_enabled 的布尔值为 true 或 false，键名 source 和字符串test) 的值？

Answer 1

使用exists函数：

dataframe.filter("exists(array_of_properties, x -> x.name = 'somename' and x.props['is_enabled'] is true)")