按一列的拆分长度过滤的数据框答案

【问题标题】：Dataframe filtered by one column's split length按一列的拆分长度过滤的数据框
【发布时间】：2018-04-20 16:08:24
【问题描述】：

我开始在 spark 上学习 Scala 并尝试做 ETL。我尝试过滤其字符串应按空白系列分为 4 列的数据帧。

这是我尝试过的

df.where(split(df("item"), "\\s+").length == 4).show()

它显示错误value length is not a member of org.apache.spark.sql.Column

我查看了documentation，发现它返回的是 Column 类，所以它肯定没有长度属性。

我被卡住了，不知道如何解决，我用谷歌搜索了，但只找到this。

我想要的是根据拆分长度进行过滤，我也尝试lookup什么拆分返回，但我不知道使用哪个拆分功能。

你能告诉我吗

1.它使用了什么分割功能？

2.如何过滤分割字符串长度为4的行？

谢谢

【问题讨论】：

【解决方案1】：

你可以使用size函数作为

import org.apache.spark.sql.functions._

df.where(size(split($"item" ,"\\s+")) === 4)

【讨论】：