【发布时间】:2019-05-02 11:42:26
【问题描述】:
我在 PySpark 数据框中有 3 列:ID、Y 和一个空列 X。
data = spark.read.options(sep="|", header="true", inferschema="true").csv(csv_file)
data.createOrReplaceTempView("TABLE_NAME")
df = spark.sql("SELECT ID, Y, X FROM TABLE_NAME")
df
ID:字符串,Y:整数,X:整数
+----+-----+---+
| ID | Y | X |
+----+-----+---+
| V1 | 0 | |
| V2 | 0 | |
| V1 | 100 | |
| V2 | 100 | |
| V1 | 250 | |
| V2 | 400 | |
+----+-----+---+
如果当前行是 ID 的第一次出现,我想将 X 计算为零,或者作为 ID 当前出现中的 Y 与 ID 最后出现中的 Y 之间的差异:
+----+-----+-----+
| ID | Y | X |
+----+-----+-----+
| V1 | 0 | 0 |
| V2 | 0 | 0 |
| V1 | 100 | 100 |
| V2 | 100 | 100 |
| V1 | 250 | 150 |
| V2 | 400 | 300 |
+----+-----+-----+
您能帮我实现吗?
非常抱歉,我找不到如何通过手动输入来读取数据,这是我的 csv_file 以供重现:
ID|Y|Date
V1|0|2018-06-22 08:33:05
V2|0|2018-06-22 08:33:05
V1|100|2018-06-22 08:34:05
V2|100|2018-06-22 08:34:05
V1|250|2018-06-22 08:35:05
V2|400|2018-06-22 08:35:05
V2|-50|2018-06-22 08:36:05
V2|400|2018-06-22 08:37:05
Spark 版本:2.4.0
编辑:使用 Steven 的解决方案和额外的行:
+---+---+----+
| id| y| x|
+---+---+----+
| v2|-50| 0|
| v2| 0| 50|
| v2|100| 150|
| v2|400| 350|
| v2|400| -50|
| v2|400|-450|
| v1| 0| 0|
| v1|100| 100|
| v1|250| 150|
+---+---+----+
理想的结果:
+----+-----+-----+---------------------+
| id | y | x | Date |
+----+-----+-----+---------------------+
| v2 | 0 | 0 | 2018-06-22 08:33:05 |
| v2 | 100 | 100 | 2018-06-22 08:34:05 |
| v2 | 400 | 300 | 2018-06-22 08:35:05 |
| v2 | -50 | -450 | 2018-06-22 08:36:05 |
| v2 | 400 | 450 | 2018-06-22 08:37:05 |
| v1 | 0 | 0 | 2018-06-22 08:33:05 |
| v1 | 100 | 100 | 2018-06-22 08:34:05 |
| v1 | 250 | 150 | 2018-06-22 08:35:05 |
+----+-----+-----+---------------------+
使用 orderBy("Date"):
+---+---+-------------------+----+
| id| y| Date| x|
+---+---+-------------------+----+
| v2| 0|2018-06-22 08:33:05| 0|
| v2|100|2018-06-22 08:34:05| 100|
| v2|400|2018-06-22 08:35:05| 300|
| v2|-50|2018-06-22 08:36:05|-550|
| v2|400|2018-06-22 08:37:05| -50|
| v1| 0|2018-06-22 08:33:05| 0|
| v1|100|2018-06-22 08:34:05| 100|
| v1|250|2018-06-22 08:35:05| 150|
+---+---+-------------------+----+
【问题讨论】:
标签: python apache-spark pyspark