【发布时间】:2020-08-23 01:34:04
【问题描述】:
我有一个大型数据框,我需要检查数据框中是否存在特定列(column_A),如果该列存在,则基于需要进行一些处理,否则它必须进行一些其他处理 -
我目前正在下面尝试 -
try:
input_df = input_df.withColumn("column_A", input_df["column_A"].cast(StringType()))
Do some processing
except:
input_df = input_df.drop('column_B')
必须有更好的方法来实现它。提前致谢
【问题讨论】:
标签: pyspark