用于否定列的 Pyspark 函数

【问题标题】：Pyspark Function to Negate Column用于否定列的 Pyspark 函数
【发布时间】：2019-12-26 11:59:21
【问题描述】：

是否有内置函数可以添加一个新列，它是原始列的否定？

Spark SQL 具有函数negative()。 Pyspark 似乎没有继承这个功能。

df_new = df.withColumn(negative("orginal"))

【问题讨论】：

【解决方案1】：

假设您的列 original 是布尔值：

df_new = df.withColumn(~df["original"])  # Equivalent to "not original"

【讨论】：

感谢 Pierre，看起来 '~' 运算符仅适用于布尔类型。这个操作符虽然很方便
有 pyspark 原生的东西可以做到这一点吗？我想如果我使用~，那么它将使用内存开销在 python 进程中执行，而不是在 JVM 中。是否有仅在 JVM 内执行的替代方案？