如何将地图的 RDD 转换为数据框答案

【问题标题】：How to convert an RDD of Maps to dataframe如何将地图的 RDD 转换为数据框
【发布时间】：2017-04-08 10:18:27
【问题描述】：

我有地图的 RDD，我想将其转换为数据框这里是RDD的输入格式

val mapRDD: RDD[Map[String, String]] = sc.parallelize(Seq(
   Map("empid" -> "12", "empName" -> "Rohan", "depId" -> "201"),
   Map("empid" -> "13", "empName" -> "Ross", "depId" -> "201"),
   Map("empid" -> "14", "empName" -> "Richard", "depId" -> "401"),
   Map("empid" -> "15", "empName" -> "Michale", "depId" -> "501"),
   Map("empid" -> "16", "empName" -> "John", "depId" -> "701")))

有什么办法可以像这样转换成数据框

 val df=mapRDD.toDf

df.show

empid,  empName,    depId
12      Rohan       201
13      Ross        201
14      Richard     401
15      Michale     501
16      John        701

【问题讨论】：

“我有 RDD 的地图” - 更准确地说，你有“地图的 RDD”。

标签： scala apache-spark apache-spark-sql

【解决方案1】：

您可以轻松地将其转换为 Spark DataFrame：

这是一个可以解决问题的代码：

val mapRDD= sc.parallelize(Seq(
   Map("empid" -> "12", "empName" -> "Rohan", "depId" -> "201"),
   Map("empid" -> "13", "empName" -> "Ross", "depId" -> "201"),
   Map("empid" -> "14", "empName" -> "Richard", "depId" -> "401"),
   Map("empid" -> "15", "empName" -> "Michale", "depId" -> "501"),
   Map("empid" -> "16", "empName" -> "John", "depId" -> "701")))

val columns=mapRDD.take(1).flatMap(a=>a.keys)

val resultantDF=mapRDD.map{value=>
      val list=value.values.toList
      (list(0),list(1),list(2))
      }.toDF(columns:_*)

resultantDF.show()

输出是：

+-----+-------+-----+
|empid|empName|depId|
+-----+-------+-----+
|   12|  Rohan|  201|
|   13|   Ross|  201|
|   14|Richard|  401|
|   15|Michale|  501|
|   16|   John|  701|
+-----+-------+-----+

【讨论】：

请注意，这假设您提取的第一条记录具有所有键。例如，如果第一条记录丢失 depId，那么输出 DF 将不会有 depId，即使所有其他记录都有。