Pyspark过滤来自RDD的空行不起作用答案

【问题标题】：Pyspark filter empty lines from RDD not workingPyspark过滤来自RDD的空行不起作用
【发布时间】：2017-03-12 01:39:25
【问题描述】：

我对 spark 和 pyspark 比较陌生

final_plogfiles = plogfiles.filter(lambda x: len(x)>0)

我编写了这段代码来过滤掉 RDD plogfiles 中的空行。它没有删除空行。

我也试过

plogfiles.filter(lambda x: len(x.split())>0)

但是如果我使用plogfiles.filter(lambda x: x.split())，所有行中的尾随和前导空格都会被修剪

我只想过滤掉空行。我想知道我哪里出错了。

【问题讨论】：

【解决方案1】：

plogfiles 是 RDD 吗？以下对我来说很好：

lines = sc.textFile(input_file)
non_empty_lines = lines.filter(lambda x: len(x)>0 )

【讨论】：