【发布时间】:2020-05-26 13:11:42
【问题描述】:
我在使用 Pyspark 在数据块中运行数据帧时遇到了上述错误。我不知道如何解决这个问题以及我哪里出错了。代码如下:
df_inner_select = df_promodata_daypart.select(df_promodata_daypart.sub_master_id,df_promodata_daypart.sub_campaign_id,df_promodata_daypart.resolved_network,df_promodata_daypart.hh_id,df_promodata_daypart.type,df_df_promodata_daypart.localpromoadviewstarttime_min).alias("viewerbytype").groupby(df_promodata_daypart.sub_master_id,df_promodata_daypart.sub_campaign_id,df_promodata_daypart.resolved_network,df_promodata_daypart.hh_id,df_promodata_daypart.localpromoadviewstarttime_min).agg(F.sum(F.when(df_promodata_daypart.type=="NonTargeted",1).otherwise(0).alias("NonTargeted_count")),F.sum(F.when(df_promodata_daypart.type=="Targeted").alias("Targeted_count")))
在这里我还需要获取数据框中提到的类型列的计数。谁能帮助我尽快解决这个问题?
非常感谢。
【问题讨论】:
标签: pyspark databricks