将 to_date 列与 pyspark 中的单个值进行比较答案

【问题标题】：Compare a to_date column with a single value in pyspark将 to_date 列与 pyspark 中的单个值进行比较
【发布时间】：2021-07-30 22:12:15
【问题描述】：

我在 pyspark 中有一个数据框，如下所示：

df = spark.table('db.table')
            .select(F.col('key').alias('key_a'),
                    F.to_date('move_out_date', 'yyyyMMdd').alias('move_out_date'))

现在我想将move_out_date 列与日期20151231 进行比较。但是下面的代码不起作用

from pyspark.sql import functions as F

df.filter(F.datediff(F.col('move_out_date'), F.to_date('20151231', 'yyyyMMdd')) > 0)

如何将 to_date 列与单个值进行比较？

【问题讨论】：

从代码差异看来您需要大于日期的记录df.filter(df.move_out_date > f.to_date(f.lit('20151231'), 'yyyyMMdd'))

标签： apache-spark pyspark apache-spark-sql

【解决方案1】：

这是因为to_date() 需要一个列作为参数，而您正在传递一个字符串。要解决添加lit() 作为参数和要比较的日期。

import pyspark.sql.functions as f
from pyspark import Row
from pyspark.shell import spark

df = spark.createDataFrame([
    Row(key=1, date='20151231'),
    Row(key=2, date='20160101'),
    Row(key=3, date='20160102')
])

df = df.select(f.col('key').alias('key_a'),
               f.to_date(f.col('date'), 'yyyyMMdd').alias('move_out_date'))

df = df.filter(f.datediff(f.col('move_out_date'), f.to_date(f.lit('20151231'), format='yyyyMMdd')) > 0)

df.show()

输出：

+-----+-------------+
|key_a|move_out_date|
+-----+-------------+
|    2|   2016-01-01|
|    3|   2016-01-02|
+-----+-------------+

【讨论】：