【问题标题】:Adding date & calendar week column in py spark dataframe在 pyspark 数据框中添加日期和日历周列
【发布时间】:2020-10-14 17:52:54
【问题描述】:

我使用的是火花 2.4.5。我想在我的 pyspark 数据框 df 中添加两个新列,日期和日历周。 所以我尝试了以下代码:

from pyspark.sql.functions import lit
df.withColumn('timestamp', F.lit('2020-05-01'))
df.show()

但我收到错误消息:AssertionError: col should be Column

您能解释一下如何添加日期列和日历周吗?

【问题讨论】:

    标签: apache-spark pyspark


    【解决方案1】:

    看起来您错过了代码中的 lit 函数。 这就是您要查找的内容:

    df = df.withColumn("date", lit('2020-05-01'))
    

    如果您想硬编码日期和星期,这就是您的答案。如果您想以编程方式获取当前时间戳,我建议您使用 UDF。

    【讨论】:

      【解决方案2】:

      我在这里看到两个问题:首先,如何将字符串转换为日期。其次,如何从日期中获取一年中的星期几。

      将字符串转换为日期

      您可以简单地使用cast("date") 或更具体的F.to_date。

      df = df.withColumn("date", F.to_date("timestamp", "yyyy-MM-dd"))
      

      提取一年中的一周

      使用格式日期允许您将日期列格式化为任何所需的格式。 w 是一年中的一周。 W 将是一个月的一周。

      df = df.withColumn("week_of_year", F.date_format("date", "w"))
      

      相关问题:pyspark getting weeknumber of month

      【讨论】:

        猜你喜欢
        • 2023-01-22
        • 1970-01-01
        • 1970-01-01
        • 2023-02-08
        • 2021-06-16
        • 1970-01-01
        • 2016-10-27
        • 2013-04-29
        • 2021-07-01
        相关资源
        最近更新 更多