如何在 Python 中排除 Spark 数据框中的多列

Question

我发现 PySpark 有一个名为 drop 的方法，但它似乎一次只能删除一列。关于如何同时删除多列的任何想法？

df.drop(['col1','col2'])

TypeError                                 Traceback (most recent call last)
<ipython-input-96-653b0465e457> in <module>()
----> 1 selectedMachineView = machineView.drop([['GpuName','GPU1_TwoPartHwID']])

/usr/hdp/current/spark-client/python/pyspark/sql/dataframe.pyc in drop(self, col)
   1257             jdf = self._jdf.drop(col._jc)
   1258         else:
-> 1259             raise TypeError("col should be a string or a Column")
   1260         return DataFrame(jdf, self.sql_ctx)
   1261 

TypeError: col should be a string or a Column

Answer 1

在 PySpark 2.1.0 方法中 drop supports multiple columns:

PySpark 2.0.2：

DataFrame.drop(col)

PySpark 2.1.0：

DataFrame.drop(*cols)

例子：

df.drop('col1', 'col2')

或使用* 运算符作为

df.drop(*['col1', 'col2'])

Answer 2

只需select:

df.select([c for c in df.columns if c not in {'GpuName','GPU1_TwoPartHwID'}])

或者如果你真的想使用drop，那么reduce 应该可以解决问题：

from functools import reduce
from pyspark.sql import DataFrame

reduce(DataFrame.drop, ['GpuName','GPU1_TwoPartHwID'], df)

注意：

（执行时间的差异）：

在数据处理时间方面应该没有区别。虽然这些方法生成不同的逻辑计划，但物理计划完全相同。

但是，当我们分析驱动端代码时，情况有所不同：

• 第一种方法只调用一次 JVM，而第二种方法必须为必须排除的每一列调用 JVM
• 第一种方法生成逻辑计划，相当于物理计划。在第二种情况下，它被重写。
• finally Python 中的理解比map 或reduce 等方法快得多
• Spark 2.x+ 支持drop 中的多列。请参阅SPARK-11884（在 DataFrame API 中删除多个列）和SPARK-12204（在 SparkR 中为 DataFrame 实现删除方法）了解详情。

Answer 3

正确的做法是：

df.drop(*['col1', 'col2', 'col3'])

如果要删除多列，* 需要放在括号之外。

Answer 4

如果以上都不适合你，试试这个：

df.drop(col("col1")).drop(col("col2))

我的 spark 版本是 3.1.2。