【问题标题】:Create a timestamp Column in Spark Dataframe from other column having timestamp value从具有时间戳值的其他列在 Spark Dataframe 中创建时间戳列
【发布时间】:2018-07-29 16:24:21
【问题描述】:

我有一个带有时间戳列的 spark 数据框。

我想获取该列的前一天日期。然后将时间 (3,59,59) 添加到日期。

当前列中的Ex-值(x1):2018-07-11 21:40:00 前一天日期:2018-07-10 在前一天的日期加上时间(3,59,59)后,应该是这样的: 2018-07-10 03:59:59 (x2) 我想在数据框中添加一列,其中“x2”值对应于所有记录中的“x1”值。

我想要一列,其值等于 (x1-x2).totalDays 的精确双精度值之差

【问题讨论】:

    标签: apache-spark pyspark unix-timestamp


    【解决方案1】:

    减日加时间并转换为时间戳类型

    from pyspark.sql.types import *
    from pyspark.sql import *
    >>>df.withColumn('x2',concat(date_sub(col("x1"),1),lit(" 03:59:59")).cast("timestamp"))
    

    计算时间和日期差:

    日期差异:-

    使用 datediff 函数我们可以计算日期差

    >>>df1.withColumn("x3",datediff(col("x1"),col("x2")))

    时差

    计算此转换为 unix 时间的时间差,然后从 x1 中减去 x2 列

    >>>df1.withColumn("x3",unix_timestamp(col("x1"))-unix_timestamp(col("x2")))

    【讨论】:

      猜你喜欢
      • 2021-03-11
      • 2020-03-01
      • 2022-12-10
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-03-13
      • 1970-01-01
      相关资源
      最近更新 更多