将 pyspark 字符串转换为日期格式答案

【问题标题】：Convert pyspark string to date format将 pyspark 字符串转换为日期格式
【发布时间】：2016-10-31 01:10:23
【问题描述】：

我有一个日期 pyspark 数据框，其中包含 MM-dd-yyyy 格式的字符串列，我正在尝试将其转换为日期列。

我试过了：

df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()

我得到一串空值。有人可以帮忙吗？

【问题讨论】：

除非您使用 TimeSeriesRDD 插件之一（有关讨论，请参阅 Spark 2016 会议，我知道有两个，但都仍在开发中），没有很多很棒的时间序列的工具。因此，如果您的目标是各种类型的groupBy 或重采样操作，我发现很少有理由将字符串转换为日期时间对象。只需在字符串列上执行它们。
分析将使用很少或不使用groupBy，而是使用医疗记录的纵向研究。因此，能够操纵日期很重要
Why I get null results from date_format() PySpark function?的可能重复

标签： python apache-spark pyspark apache-spark-sql

【解决方案1】：

from datetime import datetime
from pyspark.sql.functions import col, udf
from pyspark.sql.types import DateType



# Creation of a dummy dataframe:
df1 = sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991"), 
                            ("11/25/1391","11/24/1992","11/30/1992")], schema=['first', 'second', 'third'])

# Setting an user define function:
# This function converts the string cell into a date:
func =  udf (lambda x: datetime.strptime(x, '%m/%d/%Y'), DateType())

df = df1.withColumn('test', func(col('first')))

df.show()

df.printSchema()

这是输出：

+----------+----------+----------+----------+
|     first|    second|     third|      test|
+----------+----------+----------+----------+
|11/25/1991|11/24/1991|11/30/1991|1991-01-25|
|11/25/1391|11/24/1992|11/30/1992|1391-01-17|
+----------+----------+----------+----------+

root
 |-- first: string (nullable = true)
 |-- second: string (nullable = true)
 |-- third: string (nullable = true)
 |-- test: date (nullable = true)

【讨论】：

A udf 在这里不应该是必需的，但用于处理此问题的内置插件是残酷的。这也是我现在要做的。
为什么测试列中的日期与第一列不匹配？是的，它现在是日期类型，但日期和月份不匹配。有什么原因吗？
测试给出的日期值不正确。这不是正确的答案。
使用 UDF 的任何解决方案都不是答案，几乎不是解决方法。我不认为，通过组合 PSF 和 .transform() 本身，您无法完成许多用例。

【解决方案2】：

更新（2018 年 1 月 10 日）：

对于 Spark 2.2+，最好的方法可能是使用 to_date 或 to_timestamp 函数，它们都支持 format 参数。来自文档：

>>> from pyspark.sql.functions import to_timestamp
>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect()
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]

原始答案（适用于 Spark

可以（最好？）在没有 udf 的情况下执行此操作：

from pyspark.sql.functions import unix_timestamp, from_unixtime

df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], 
    ['date_str']
)

df2 = df.select(
    'date_str', 
    from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date')
)

print(df2)
#DataFrame[date_str: string, date: timestamp]

df2.show(truncate=False)
#+----------+-------------------+
#|date_str  |date               |
#+----------+-------------------+
#|11/25/1991|1991-11-25 00:00:00|
#|11/24/1991|1991-11-24 00:00:00|
#|11/30/1991|1991-11-30 00:00:00|
#+----------+-------------------+

【讨论】：

这是正确答案。为此使用 udf 会破坏您的性能。
从 pyspark.sql.functions 导入 from_unixtime, unix_timestamp
请注意，您可以在此处找到 java 日期格式参考：docs.oracle.com/javase/6/docs/api/java/text/…
另请注意，带有格式参数的to_date() 是 spark 2.2+。 to_date在2.2之前存在，但格式选项不存在
TL;DR: df = df.withColumn("ResultColumn", to_timestamp(col("OriginalDateCol"), 'yyyy-MM-dd HH:mm:ss'))

【解决方案3】：

strptime() 方法对我不起作用。我得到了另一个更清洁的解决方案，使用 cast：

from pyspark.sql.types import DateType
spark_df1 = spark_df.withColumn("record_date",spark_df['order_submitted_date'].cast(DateType()))
#below is the result
spark_df1.select('order_submitted_date','record_date').show(10,False)

+---------------------+-----------+
|order_submitted_date |record_date|
+---------------------+-----------+
|2015-08-19 12:54:16.0|2015-08-19 |
|2016-04-14 13:55:50.0|2016-04-14 |
|2013-10-11 18:23:36.0|2013-10-11 |
|2015-08-19 20:18:55.0|2015-08-19 |
|2015-08-20 12:07:40.0|2015-08-20 |
|2013-10-11 21:24:12.0|2013-10-11 |
|2013-10-11 23:29:28.0|2013-10-11 |
|2015-08-20 16:59:35.0|2015-08-20 |
|2015-08-20 17:32:03.0|2015-08-20 |
|2016-04-13 16:56:21.0|2016-04-13 |

【讨论】：

谢谢，这种方法对我有用！如果有人想将2008-08-01T14:45:37Z 之类的字符串转换为时间戳而不是日期，df = df.withColumn("CreationDate",df['CreationDate'].cast(TimestampType())) 效果很好...（Spark 2.2.0）
我在 AWS Glue pyspark 中尝试过这个选项，效果很好！
如果日期已经采用可接受的格式 (yyyy-MM-dd)，则此方法有效。在 OP 的情况下，MM-dd-yyyy 格式的日期将使用此方法返回 null。

【解决方案4】：

试试这个：

df = spark.createDataFrame([('2018-07-27 10:30:00',)], ['Date_col'])
df.select(from_unixtime(unix_timestamp(df.Date_col, 'yyyy-MM-dd HH:mm:ss')).alias('dt_col'))
df.show()
+-------------------+  
|           Date_col|  
+-------------------+  
|2018-07-27 10:30:00|  
+-------------------+

【讨论】：

您可以考虑详细说明您的答案如何改进已经提供和接受的内容。

【解决方案5】：

在接受的答案更新中，您看不到 to_date 函数的示例，因此使用它的另一个解决方案是：

from pyspark.sql import functions as F

df = df.withColumn(
            'new_date',
                F.to_date(
                    F.unix_timestamp('STRINGCOLUMN', 'MM-dd-yyyy').cast('timestamp')))

【讨论】：

做一个简单的 to_date() 不起作用，这是正确的答案

【解决方案6】：

可能没有那么多答案，所以想分享我的代码来帮助别人

from pyspark.sql import SparkSession
from pyspark.sql.functions import to_date

spark = SparkSession.builder.appName("Python Spark SQL basic example")\
    .config("spark.some.config.option", "some-value").getOrCreate()


df = spark.createDataFrame([('2019-06-22',)], ['t'])
df1 = df.select(to_date(df.t, 'yyyy-MM-dd').alias('dt'))
print df1
print df1.show()

输出

DataFrame[dt: date]
+----------+
|        dt|
+----------+
|2019-06-22|
+----------+

上面的代码转换为日期，如果你想转换日期时间然后使用to_timestamp。如果您有任何疑问，请告诉我。

【讨论】：