Spark 2.0，DataFrame，过滤字符串列，不推荐使用不相等运算符（！==）答案

【问题标题】：Spark 2.0, DataFrame, filter a string column, unequal operator (!==) is deprecatedSpark 2.0，DataFrame，过滤字符串列，不推荐使用不相等运算符（！==）
【发布时间】：2017-03-02 10:25:38
【问题描述】：

我试图通过仅保留具有特定字符串列非空的那些行来过滤 DataFrame。

操作如下：

df.filter($"stringColumn" !== "")

我的编译器显示 !== 在我迁移到 Spark 2.0.1 后已被弃用

如何在 Spark > 2.0 中检查字符串列值是否为空？

【问题讨论】：

标签： apache-spark spark-dataframe

【解决方案1】：

使用=!= 代替：

df.filter($"stringColumn" =!= "")

【讨论】：

感谢 LostInOverflow，您能否指出您在 Spark 文档中找到信息的位置？
spark.apache.org/docs/latest/api/scala/…，查看!==的弃用评论。
@Rami 这是完整的答案，根据 StackOverflow 规则你应该接受它
这在 Spark 2 中似乎已被弃用。我收到无关输入 '!='

【解决方案2】：

将=!= 用作“不等于”运算符

df.where(col("COLUMN_NAME") =!= "")

【讨论】：