在不使用随机拆分的情况下将时间序列 pySpark 数据帧拆分为测试和训练

Question

我有一个火花时间序列数据框。我想把它分成 80-20（训练测试）。由于这是一个时间序列数据框，我不想进行随机拆分。我该如何做才能将第一个数据帧传递给火车，第二个数据帧进行测试？

Answer 1

您可以使用pyspark.sql.functions.percent_rank() 来获取按时间戳/日期列排序的 DataFrame 的百分位排名。然后选择所有带有rank <= 0.8 的列作为您的训练集，其余的作为您的测试集。

例如，如果您有以下 DataFrame：

df.show(truncate=False)
#+---------------------+---+
#|date                 |x  |
#+---------------------+---+
#|2018-01-01 00:00:00.0|0  |
#|2018-01-02 00:00:00.0|1  |
#|2018-01-03 00:00:00.0|2  |
#|2018-01-04 00:00:00.0|3  |
#|2018-01-05 00:00:00.0|4  |
#+---------------------+---+

您需要训练集中的前 4 行和训练集中的最后一行。先添加一列rank：

from pyspark.sql.functions import percent_rank
from pyspark.sql import Window

df = df.withColumn("rank", percent_rank().over(Window.partitionBy().orderBy("date")))

现在使用rank 将您的数据拆分为train 和test：

train_df = df.where("rank <= .8").drop("rank")
train_df.show()
#+---------------------+---+
#|date                 |x  |
#+---------------------+---+
#|2018-01-01 00:00:00.0|0  |
#|2018-01-02 00:00:00.0|1  |
#|2018-01-03 00:00:00.0|2  |
#|2018-01-04 00:00:00.0|3  |
#+---------------------+---+

test_df = df.where("rank > .8").drop("rank")
test_df.show()
#+---------------------+---+
#|date                 |x  |
#+---------------------+---+
#|2018-01-05 00:00:00.0|4  |
#+---------------------+---+