如何访问 pyspark 数据框中的结构元素？答案

【问题标题】：How access struct elements inside pyspark dataframe?如何访问 pyspark 数据框中的结构元素？
【发布时间】：2020-06-25 12:06:56
【问题描述】：

我有以下 pyspark 数据框架构

root
 |-- maindata: array (nullable = true)
 |    |-- element: array (containsNull = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- label: string (nullable = true)
 |    |    |    |-- value: string (nullable = true)
 |    |    |    |-- unit: string (nullable = true)
 |    |    |    |-- dateTime: string (nullable = true)

提供我通过df.select(F.col("maindata")).show(1,False)收到的特定行的一些数据

|[[[a1, 43.24, km/h, 2019-04-06T13:02:08.020], [TripCount, 135, , 2019-04-06T13:02:08.790],["t2", 0, , 2019-04-06T13:02:08.040], [t4, 0, , 2019-04-06T13:02:08.050], [t09, 0, , 2019-04-06T13:02:08.050], [t3, 1, , 2019-04-06T13:02:08.050], [t7, 0, , 2019-04-06T13:02:08.050],[TripCount, ,136, 2019-04-06T13:02:08.790]]

我想访问此 ex 中的行程计数值：[TripCount -> 136,135 etc，访问此数据的最佳方法是什么？TripC 多次出现还有有什么方法可以访问比如只有标签数据，比如 maindata.label..？

【问题讨论】：

你能发布示例数据和可重现的代码
@ShubhamJain 添加了一些示例数据。你能检查一下吗..基本上我需要获取tripcount的所有值..

标签： python apache-spark pyspark

【解决方案1】：

我建议多次执行explode，将数组元素转换为单独的行，然后将结构转换为单独的列，或者使用点语法处理嵌套元素。例如：

from pyspark.sql.functions import col, explode
df=spark.createDataFrame([[[[('k1','v1', 'v2')]]]], ['d'])
df2 = df.select(explode(col('d')).alias('d')).select(explode(col('d')).alias('d'))
>>> df2.printSchema()
root
 |-- data: struct (nullable = true)
 |    |-- _1: string (nullable = true)
 |    |-- _2: string (nullable = true)
 |    |-- _3: string (nullable = true)
>>> df2.filter(col("data._1") == "k1").show()
+------------+
|        data|
+------------+
|[k1, v1, v2]|
+------------+

或者您可以将结构的成员提取为单独的列：

from pyspark.sql.functions import col, explode
df = spark.createDataFrame([[[[('k1','v1', 'v2')]]]], ['d'])
df2 = df.select(explode(col('d')).alias('d')).select(explode(col('d')).alias('d')).select("d.*").drop("d")
>>> df2.printSchema()
root
 |-- _1: string (nullable = true)
 |-- _2: string (nullable = true)
 |-- _3: string (nullable = true)

>>> df2.filter(col("_1") == "k1").show()
+---+---+---+
| _1| _2| _3|
+---+---+---+
| k1| v1| v2|
+---+---+---+

【讨论】：