【发布时间】：2017-09-19 12:59:32
【问题描述】：
我有一个包含数据的 csv
Date, Time, CO(GT), PT08.S1(CO)
10/03/2004, 18.00.00, 2, 6
我正在解析它以创建 DataSet，并想跳过第一行。我该怎么做？
【问题讨论】：
标签： csv apache-spark apache-spark-sql
【发布时间】：2017-09-19 12:59:32
【问题描述】：
使用DataFrameReader 的标头选项，例如在Java 中这样：
Daset<Row> df = spark
.read()
.option("inferSchema", true)
.option("header", true)
.csv(paths);
【讨论】：
-
你能给我提供任何关于我们可以在 Spark 中的
option中使用的所有内容的链接吗？ -
这取决于您使用的数据源。您可以查看 sql 指南 (spark.apache.org/docs/latest/…) 和 api 文档 (spark.apache.org/docs/2.1.0/api/scala/…)。然而，这些选项不在选项下，而是在尊重数据源方法下。在这种情况下
csv