如何通过 Delimiter 拆分 Spark RDD 的行

Question

我正在尝试将 Spark 中的数据拆分为 Array[String] 的 RDD 形式。目前我已将文件加载到String 的RDD 中。

> val csvFile = textFile("/input/spam.csv")

我想在 , 分隔符上进行拆分。

Answer 1

这个：

val csvFile = textFile("/input/spam.csv").map(line => line.split(","))

回复你RDD[Array[String]]。

如果您需要第一列作为RDD，则使用map 函数仅返回数组中的第一个索引：

  val firstCol = csvFile.map(_.(0))

Answer 2

您应该使用spark-csv 库，它能够根据标题解析您的文件并允许您指定分隔符。此外，它在推断模式方面做得很好。我会让你阅读文档以发现大量的options 供你使用。

这可能看起来像这样：

sqlContext.read.format("com.databricks.spark.csv")
.option("header","true")
.option("delimiter","your delimitor")
.load(pathToFile)

请注意，这会返回一个 DataFrame，您可能必须使用 .rdd 函数将其转换为 rdd。

当然，您必须将包加载到驱动程序中才能工作。

Answer 3

// create spark session
val spark = org.apache.spark.sql.SparkSession.builder
        .master("local")
        .appName("Spark CSV Reader")
        .getOrCreate;

// read csv
val df = spark.read
         .format("csv")
         .option("header", "true") //reading the headers
         .option("mode", "DROPMALFORMED")
         .option("delimiter", ",")
         .load("/your/csv/dir/simplecsv.csv")

// convert dataframe to rdd[row]
val rddRow = df.rdd
// print 2 rows
rddRow.take(2)

// convert df to rdd[string] for specific column
val oneColumn = df.select("colName").as[(String)].rdd
oneColumn.take(2)

// convert df to rdd[string] for multiple columns
val multiColumn = df.select("col1Name","col2Name").as[(String, String)].rdd
multiColumn.take(2)