pyspark 是否有空安全比较运算符？

Question

当尝试创建布尔列时，如果其他两个列相等则为 True，否则为 False，我注意到 Spark 中的 Null == Null = False。

df.withColumn('newCol', F.when(F.col('x')==F.col('y'), True).otherwise(False))

这个：https://spark.apache.org/docs/3.0.0-preview/sql-ref-null-semantics.html 建议如果我使用 SQL 语法，我可以使用 ，但如果可以的话，我希望坚持使用 pyspark sql api。

df.withColumn('newCol', F.when(F.col('x')<=>F.col('y'), True).otherwise(False))

好像没用。

有人有什么建议吗？

Answer 1

查看pyspark.sql.Column.eqNullSafe：https://spark.apache.org/docs/3.1.1/api/python/reference/api/pyspark.sql.Column.eqNullSafe.html