pyspark数据框中两列之间的时间差答案

【问题标题】：Time difference between two columns in pyspark dataframepyspark数据框中两列之间的时间差
【发布时间】：2019-03-12 11:47:49
【问题描述】：

我要计算在pyspark两列之间小时的时差。下面是示例数据框。列是字符串类型（YYYYMMDDHHMMSS）。 P>

time1           time2
20191020051010  20191019051010

要低于输出。这里24表示以小时TIME1和TIME2之间的差。 P>

time1                time2         diff
20191020051010  20191019051010     24

【问题讨论】：

标签： python-3.x apache-spark pyspark apache-spark-sql pyspark-sql

【解决方案1】：

你可以试试

import pyspark.sql.functions as F

df.withColumn(
    'diff',
    (F.unix_timestamp(F.to_timestamp(F.col('time1')))) - 
    (F.unix_timestamp(F.to_timestamp(F.col('time2'))))/F.lit(3600)
)

【讨论】：

但它抛出空值。请注意我使用的是 python 3.6 和 spark 2.7.... 请参考下面我使用的代码 ========================= ================================== mySchema = StructType([StructField("Time1", StringType())\ , StructField("Time2", StringType())]) test_lst = [['20191019051010', '20191020051010']] df1 = spark.createDataFrame(test_lst,schema=mySchema) df1.show() df1.printSchema() df1 = df1 .withColumn('unixTime1',F.unix_timestamp(F.to_timestamp(F.col('Time1'))))\ .withColumn('toTime1',F.to_timestamp(F.col('Time1'))) df1。显示（）
@NabarunChakraborti 这将起作用 - df = df.withColumn('diff', (F.unix_timestamp('time1', 'yyyyMMddhhmmss') -F.unix_timestamp('time2', 'yyyyMMddhhmmss'))/3600)
我不知道为什么我仍然得到空值。下面是架构 - '|-- Time1: string (nullable = true) |-- Time2: string (nullable = true) |-- diff: double (nullable = true)'