如何从列表火花scala中获取数据框

Question

我有一个 RDD 列表。我已经迭代了 rdd 并且对于 rdd 的每个元素我都在做一些解析逻辑。最后我得到了

 val mRdd = nRdd.map {
      ele =>  //parsing logic, I have the below field
colum = Array[String]  // example ['id','name','dept']<br> 
c_type = Array[String]  // example ['Int','String','String']<br> 
value = ArrayBuffer[String] //   [1,lucy,it][2,denis,cs]<br>
}

如何获取mRdd中的数据框列表

我尝试了一个逻辑来创建数据框，在这种情况下我必须先 rdd。但我无法在 rdd 中创建 rdd。

我是火花新手。我正在使用 spark 1.6.3
请帮帮我

Answer 1

为了将 RDD 转换为 Dataframe，您需要执行以下操作：

方法一 - 使用 createDaframe 函数：

val mRdd: Seq[DataFrame] = nRdd.map {ele =>
    val parsedRDD = ele //apply parse logic here

    val schema = StructType(Seq(
        StructField("id", IntegerType),
        StructField("name", StringType),
        StructField("dept", StringType)
    ))
    createDataframe(parsedRDD, schema)
}

在此处阅读有关此方法的更多信息：https://spark.apache.org/docs/latest/sql-programming-guide.html#programmatically-specifying-the-schema

方法 2 - 使用 toDF 隐式函数：

import sqlContext.implicits._
val mRdd: Seq[DataFrame] = nRdd.map {ele =>
    val parsedRDD = ele //apply parse logic here
    val columns = Seq("id", "name", "dept")
    parsedRDD.toDF(columns: _*)
}