【问题标题】:Add new element to nested array of structs pyspark向嵌套的结构数组pyspark添加新元素
【发布时间】:2022-01-07 16:44:49
【问题描述】:

我有一个使用 pyspark 的具有以下架构的数据框:

|-- suborders: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- trackingStatusHistory: array (nullable = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- trackingStatusUpdatedAt: string (nullable = true)
 |    |    |    |    |-- trackingStatus: string (nullable = true)

我想要做的是使用条件为每个 suborders 数组创建一个新的 deliveredat 元素。

我需要在 trackingStatusHistory.trackingStatus = 'delivered' 所在的 trackingStatusHistory 数组中找到日期。如果此trackingStatus 存在,则新的deliveredat 元素将接收trackingStatusHistory.trackingStatusUpdatedAt 中的日期。如果不存在,接收null。

如何使用 pyspark 做到这一点?

【问题讨论】:

    标签: python dataframe apache-spark pyspark apache-spark-sql


    【解决方案1】:

    您可以在数组上使用高阶函数transform + filter。对于suborders 数组的每个结构元素,您可以通过过滤子数组trackingStatusHistory 并获取交货日期来添加一个新字段,如下所示:

    import pyspark.sql.functions as F
    
    df = df.withColumn(
        "suborders",
        F.expr("""transform(
                    suborders, 
                    x -> struct(
                            filter(x.trackingStatusHistory, y -> y.trackingStatus = 'delivered')[0].trackingStatusUpdatedAt as deliveredAt,
                            x.trackingStatusHistory as trackingStatusHistory
                            )
                    )
        """)
    )
    

    【讨论】:

    • 你能帮我理解为什么你需要使用这个“expr”函数和三引号吗?我试图在互联网上查找它,但我没有找到类似的东西。此外,在问题中,我省略了子订单中的几个字段,它们都随着转换而消失。是否有简单的解决方案来保留所有字段?
    • @Christian 三引号被称为“多行字符串”。如上所述,它用于在多行中写入字符串。使用 expr 是因为在 spark 3.1 之前,像 transform 和 filter 这样的函数在 DataFrame API 中不可用。但是如果你有 spark 3.1+,你可以使用 transform 和 filter 和 python lambda 函数。
    • @Christian 你的第二个问题。要保留您需要重新创建整个内部结构并指定要保留的每个字段的字段。你可以看我的其他帖子:here 或here
    猜你喜欢
    • 2015-09-02
    • 2019-05-26
    • 2023-01-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多