过滤 pyspark 数据框，但仍使用数据框格式答案

【问题标题】：Filter pyspark dataframe but still on dataframe format过滤 pyspark 数据框，但仍使用数据框格式
【发布时间】：2021-10-06 05:22:05
【问题描述】：

如何过滤 pyspark 数据帧但仍然是数据帧格式？

我用过这个

datalabel = datalabel.filter(datalabel.subs_no.isNotNull()).collect()

但datalabel 格式改为列表。

【问题讨论】：

你的问题很模糊
datalabel.filter(datalabel.subs_no.isNotNull()) 会返回一个数据框。当您在其上调用 .collect() 时，您正在请求行列表。所以只需删除.collect()

【解决方案1】：

您可以使用select 过滤所需的列，这将返回DataFrame

datalabel_subs_no = datalabel.filter(datalabel.subs_no.isNotNull()).select(F.col('subs_no'))

【讨论】：