将列表缓冲区中的数据帧行变成一列答案

【问题标题】：Making a dataframe row from a list buffer into one column将列表缓冲区中的数据帧行变成一列
【发布时间】：2020-11-07 13:23:12
【问题描述】：

我正在尝试从我拥有的对象列表缓冲区中创建一个数据框。

我有一个不同 Fruit 的列表缓冲区，并希望使用这些事件创建一个 Dataframe 行（忽略案例类中的列）

import spark.implicits._

case class Fruit(
                   indentifier: String,
                   name: String)


var fruits= new scala.collection.mutable.ListBuffer[Any]()

val fruit1 = Fruit("one", "banana")
val fruit2 = Fruit("two", "apple")
val fruit3 = Fruit("three", "orange")

fruits+= fruit1
fruits += fruit2
fruits+= fruit3

val x = fruits.toSeq.toDF()

我的目标是创建不同的行，然后从这些行中创建一个数据框

fruits 中的对象数量和内容一样可以更改。在这种情况下，我试图让我的行成为：

[{"indentifier":"one", "name":"banana"}, {"indentifier":"two", "name":"apple"}, {"indentifier":"three", "name":"orange"}]


+---------------------------------------------------------------------------------------------------------------------------+
|Fruits                                                                                                   
+------------------------------------------------------------------------------------------------------------------------------
|[{"indentifier":"one", "name":"banana"}, {"indentifier":"two", "name":"apple"}, {"indentifier":"three", "name":"orange"}]                                                                                                    |
+-----------------------------------------------------------------------------------------------------------------------------+

我尝试做fruits.toSeq.toDF()，但不能这样做，因为“toDF 不是 Seq[Any] 的成员”

【问题讨论】：

你应该在范围内有一个SparkSession，并将它的隐式导入为import sparkSession.implicits._

标签： scala dataframe

【解决方案1】：

我们可以将您的列表缓冲区声明为案例类而不是Any吗？如果是这样，这对我来说很好：

var fruits= new scala.collection.mutable.ListBuffer[Fruit]()

val fruit1 = Fruit("one", "banana")
val fruit2 = Fruit("two", "apple")
val fruit3 = Fruit("three", "orange")

fruits+= fruit1
fruits += fruit2
fruits+= fruit3

val x = Seq(fruits).toDF()
// x: org.apache.spark.sql.DataFrame = [value: array<struct<indentifier:string,name:string>>]

x 在这种情况下与您指定的所需输出相匹配，请注意当您在show 上spark-shell 时它可能看起来不同。 x.show(false)的结果：

+----------------------------------------------+
|value                                         |
+----------------------------------------------+
|[[one, banana], [two, apple], [three, orange]]|
+----------------------------------------------+

【讨论】：