按列值Scala拆分数据框

Question

我需要通过时间戳列将一个数据帧拆分为多个数据帧。所以我会提供这个数据框应该包含的小时数，并将获得一组数据框，每个数据框都有指定的小时数。

方法的签名如下所示：

def splitDataframes(df: DataFrame, hoursNumber: Int): Seq[DataFrame]

我怎样才能做到这一点？

数据框的架构如下所示：

root
 |-- date_time: integer (nullable = true)
 |-- user_id: long (nullable = true)
 |-- order_id: string (nullable = true)
 |-- description: string (nullable = true)
 |-- event_date: date (nullable = true)
 |-- event_ts: timestamp (nullable = true)
 |-- event_hour: long (nullable = true)

一些输入df字段：

event_ts, user_id
2020-12-13 08:22:00, 1
2020-12-13 08:51:00, 2
2020-12-13 09:28:00, 1
2020-12-13 10:53:00, 3
2020-12-13 11:05:00, 1
2020-12-13 12:19:00, 2

hourNumber=2 的一些输出 df 字段：

df1   event_ts, user_id
      2020-12-13 08:22:00, 1
      2020-12-13 08:51:00, 2
      2020-12-13 09:28:00, 1
df2   2020-12-13 10:46:00, 3
      2020-12-13 11:05:00, 1
df3   2020-12-13 12:48:00, 2

Answer 1

将时间戳转换为unix时间戳，然后使用与最早时间戳的时间差计算出每一行的id。

编辑：如果您从 00:00:00 开始计算开始时间，则解决方案会更简单。

import org.apache.spark.sql.DataFrame

def splitDataframes(df: DataFrame, hoursNumber: Int): Seq[DataFrame] = {

    val df2 = df.withColumn(
        "event_unix_ts",
        unix_timestamp($"event_ts")
    ).withColumn(
        "grouping",
        floor($"event_unix_ts" / (3600 * hoursNumber))
    ).drop("event_unix_ts")
    
    val df_array = df2.select("grouping").distinct().collect().map(
                   x => df2.filter($"grouping" === x(0)).drop("grouping")).toSeq
    
    return df_array

}