Pyspark：如何在现有日期列中添加十天答案

【问题标题】：Pyspark: How to add ten days to existing date columnPyspark：如何在现有日期列中添加十天
【发布时间】：2018-11-15 03:05:56
【问题描述】：

我在 Pyspark 中有一个数据框，其中包含一个名为“report_date”的日期列。

我想创建一个名为“report_date_10”的新列，它将 10 天添加到原始 report_date 列。

下面是我试过的代码：

df_dc["report_date_10"] = df_dc["report_date"] + timedelta(days=10)

这是我得到的错误：

AttributeError: 'datetime.timedelta' 对象没有属性 '_get_object_id'

帮助！谢谢

【问题讨论】：

如何做到这一点，本质上就是how to create good reproducible apache spark dataframe examples中提供的例子。

标签： date pyspark add days

【解决方案1】：

您似乎正在使用pandas 语法来添加列；对于spark，需要使用withColumn添加新列；添加日期，有内置的date_add函数：

import pyspark.sql.functions as F
df_dc = spark.createDataFrame([['2018-05-30']], ['report_date'])

df_dc.withColumn('report_date_10', F.date_add(df_dc['report_date'], 10)).show()
+-----------+--------------+
|report_date|report_date_10|
+-----------+--------------+
| 2018-05-30|    2018-06-09|
+-----------+--------------+

【讨论】：