【问题标题】:PySpark: Calculate values in column X based on previous values in the column Y and IDPySpark:根据列 Y 和 ID 中的先前值计算列 X 中的值
【发布时间】:2019-05-02 11:42:26
【问题描述】:

我在 PySpark 数据框中有 3 列:ID、Y 和一个空列 X。

data = spark.read.options(sep="|", header="true", inferschema="true").csv(csv_file)
data.createOrReplaceTempView("TABLE_NAME")
df = spark.sql("SELECT ID, Y, X FROM TABLE_NAME")
df

ID:字符串,Y:整数,X:整数

+----+-----+---+
| ID |  Y  | X |
+----+-----+---+
| V1 |   0 |   |
| V2 |   0 |   |
| V1 | 100 |   |
| V2 | 100 |   |
| V1 | 250 |   |
| V2 | 400 |   |
+----+-----+---+

如果当前行是 ID 的第一次出现,我想将 X 计算为零,或者作为 ID 当前出现中的 Y 与 ID 最后出现中的 Y 之间的差异:

+----+-----+-----+
| ID |  Y  |  X  |
+----+-----+-----+
| V1 |   0 |   0 |
| V2 |   0 |   0 |
| V1 | 100 | 100 |
| V2 | 100 | 100 |
| V1 | 250 | 150 |
| V2 | 400 | 300 |
+----+-----+-----+

您能帮我实现吗?

非常抱歉,我找不到如何通过手动输入来读取数据,这是我的 csv_file 以供重现:

ID|Y|Date
V1|0|2018-06-22 08:33:05
V2|0|2018-06-22 08:33:05
V1|100|2018-06-22 08:34:05
V2|100|2018-06-22 08:34:05
V1|250|2018-06-22 08:35:05
V2|400|2018-06-22 08:35:05
V2|-50|2018-06-22 08:36:05
V2|400|2018-06-22 08:37:05

Spark 版本:2.4.0

编辑:使用 Steven 的解决方案和额外的行:

+---+---+----+
| id|  y|   x|
+---+---+----+
| v2|-50|   0|
| v2|  0|  50|
| v2|100| 150|
| v2|400| 350|
| v2|400| -50|
| v2|400|-450|
| v1|  0|   0|
| v1|100| 100|
| v1|250| 150|
+---+---+----+

理想的结果:

+----+-----+-----+---------------------+
| id |  y  |  x  |        Date         |
+----+-----+-----+---------------------+
| v2 |   0 |   0 | 2018-06-22 08:33:05 |
| v2 | 100 | 100 | 2018-06-22 08:34:05 |
| v2 | 400 | 300 | 2018-06-22 08:35:05 |
| v2 | -50 | -450 | 2018-06-22 08:36:05 |
| v2 | 400 |  450 | 2018-06-22 08:37:05 |
| v1 |   0 |   0 | 2018-06-22 08:33:05 |
| v1 | 100 | 100 | 2018-06-22 08:34:05 |
| v1 | 250 | 150 | 2018-06-22 08:35:05 |
+----+-----+-----+---------------------+

使用 orderBy("Date"):

+---+---+-------------------+----+
| id|  y|               Date|   x|
+---+---+-------------------+----+
| v2|  0|2018-06-22 08:33:05|   0|
| v2|100|2018-06-22 08:34:05| 100|
| v2|400|2018-06-22 08:35:05| 300|
| v2|-50|2018-06-22 08:36:05|-550|
| v2|400|2018-06-22 08:37:05| -50|
| v1|  0|2018-06-22 08:33:05|   0|
| v1|100|2018-06-22 08:34:05| 100|
| v1|250|2018-06-22 08:35:05| 150|
+---+---+-------------------+----+

【问题讨论】:

    标签: python apache-spark pyspark


    【解决方案1】:

    这是你的数据框:

    df.show()                                                                                                    
    
    +---+---+-------------------+                                                   
    | id|  y|               date|
    +---+---+-------------------+
    | V1|  0|2018-06-22 08:33:05|
    | V2|  0|2018-06-22 08:33:05|
    | V1|100|2018-06-22 08:34:05|
    | V2|100|2018-06-22 08:34:05|
    | V1|250|2018-06-22 08:35:05|
    | V2|400|2018-06-22 08:35:05|
    | V2|-50|2018-06-22 08:36:05|
    | V2|400|2018-06-22 08:37:05|
    +---+---+-------------------+
    

    你可以使用lag得到你的结果:

    from pyspark.sql import Window, functions as F
    
    df.withColumn(
        "x", 
        F.coalesce(
            F.col("y") 
            - F.lag("y").over(
                Window.partitionBy(
                    "id"
                ).orderBy(
                    "date"
                )
            ), 
            F.lit(0)
        )
    ).show()  
    
    +---+---+-------------------+------+                                            
    | id|  y|               date|     x|
    +---+---+-------------------+------+
    | V2|  0|2018-06-22 08:33:05|   0.0|
    | V2|100|2018-06-22 08:34:05| 100.0|
    | V2|400|2018-06-22 08:35:05| 300.0|
    | V2|-50|2018-06-22 08:36:05|-450.0|
    | V2|400|2018-06-22 08:37:05| 450.0|
    | V1|  0|2018-06-22 08:33:05|   0.0|
    | V1|100|2018-06-22 08:34:05| 100.0|
    | V1|250|2018-06-22 08:35:05| 150.0|
    +---+---+-------------------+------+
    

    【讨论】:

    • 这很有帮助,但不完全是我需要的,因为值的顺序很重要,不应该为计算而改变。当我添加另外两行 ('v2', -50,) 和 ('v2', 400,) 时,x 列的值不正确。
    • @Cowboy_Owl 这很正常。您没有任何规则来订购您的线路。您需要提供一列来订购 id。不要告诉我你想要文件顺序。这不是它的工作原理。
    • 抱歉,我已使用“日期”列更新问题,该列指示每个 ID 中“y”值的顺序。我试图调整您的代码,但没有成功。也许解决方案会利用滞后功能?
    • @Cowboy_Owl 你只需要在orderBy 语句中添加“日期”而不是我最初写的“y”。请看我的更新
    • 好的。将sum 更改为lag。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-11-07
    • 1970-01-01
    • 2022-12-18
    • 1970-01-01
    • 1970-01-01
    • 2020-02-08
    • 1970-01-01
    相关资源
    最近更新 更多