如何在火花中使用过滤器功能删除标题？答案

【问题标题】：How to remove header by using filter function in spark?如何在火花中使用过滤器功能删除标题？
【发布时间】：2018-07-20 16:35:24
【问题描述】：

我想从文件中删除标题。但是，由于文件将被分成多个分区，我不能只删除第一项。所以我使用过滤函数来解决这个问题，下面是我正在使用的代码：

val noHeaderRDD = baseRDD.filter(line=>!line.contains("REPORTDATETIME"));

我得到的错误是“错误未找到值行”这个代码可能是什么问题？

【问题讨论】：

【解决方案1】：

我认为没有人回答显而易见的问题，因此 line.contains 也是可能的：

val noHeaderRDD = baseRDD.filter(line => !(line contains("REPORTDATETIME")))

你快到了，只是语法问题，但这当然很重要！

【讨论】：

【解决方案2】：

如下使用textFile：

val rdd = sc.textFile(<<path>>)
rdd.filter(x => !x.startsWith(<<"Header Text">>))

或者

在 Spark 2.0 中：

spark.read.option("header","true").csv("filePath")

【讨论】：