【发布时间】:2020-01-03 01:52:19
【问题描述】:
代码在函数外部工作,但是当我将其放入函数内部并调整传递的 var 参数时,我收到错误消息。感谢您的帮助!
from pyspark.sql.types import DateType
from pyspark.sql.functions import col, unix_timestamp, to_date
def change_string_to_date(df,var):
df = df.withColumn("{}".format(var),to_date(unix_timestamp(col("{}".format(var))), 'yyyy-MM-dd').cast("timestamp"))
return df
df_data = change_string_to_date(df_data,'mis_dt')
【问题讨论】:
-
你遇到了什么错误?
-
Py4JJavaError:调用 o4544.withColumn 时出错。 :org.apache.spark.sql.AnalysisException:无法解析'
"mis_dt"'给定的输入列:[id,a.mis_dt,rec];; '项目 [id#25919, mis_dt#25942, rec#25920, cast(to_date(unix_timestamp('"mis_dt", yyyy-MM-dd HH:mm:ss, None), Some(yyyy-MM-dd)) 为时间戳)AS "mis_dt"#25960]
标签: pyspark