【问题标题】:From Date to Varchar in SparkSQLSparkSQL 中的从日期到 Varchar
【发布时间】:2017-02-08 16:44:59
【问题描述】:

尝试使用 Spark SQL 从 SQL 表中选择数据并将其传输到 Pandas。这样做:

dataset_date=sqlContext.sql('''
Select a.ID, a.STAT, a.Date
from TABLE a''' 
) 
df_date=dataset_date.toPandas()
df_date.head()

a.Date 列具有日期格式,我想将其切换为 Varchar。我应该在 SparkSQL 中使用什么函数来做到这一点?

【问题讨论】:

    标签: sql pandas apache-spark apache-spark-sql


    【解决方案1】:

    你可以使用pyspark.sql.functions.date_format:

    from pyspark.sql.functions import date_format
    
    df.withColumn("date", date_format("date", "yyyy-MM-dd"))
    

    【讨论】:

      猜你喜欢
      • 2011-06-09
      • 1970-01-01
      • 2020-01-23
      • 2016-01-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-06-23
      • 1970-01-01
      相关资源
      最近更新 更多