【发布时间】:2022-01-07 16:44:49
【问题描述】:
我有一个使用 pyspark 的具有以下架构的数据框:
|-- suborders: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- trackingStatusHistory: array (nullable = true)
| | | |-- element: struct (containsNull = true)
| | | | |-- trackingStatusUpdatedAt: string (nullable = true)
| | | | |-- trackingStatus: string (nullable = true)
我想要做的是使用条件为每个 suborders 数组创建一个新的 deliveredat 元素。
我需要在 trackingStatusHistory.trackingStatus = 'delivered' 所在的 trackingStatusHistory 数组中找到日期。如果此trackingStatus 存在,则新的deliveredat 元素将接收trackingStatusHistory.trackingStatusUpdatedAt 中的日期。如果不存在,接收null。
如何使用 pyspark 做到这一点?
【问题讨论】:
标签: python dataframe apache-spark pyspark apache-spark-sql