【问题标题】:Creating Spark Dataframes from regular classes从常规类创建 Spark Dataframes
【发布时间】:2018-12-06 20:37:05
【问题描述】:

我一直看到,当我们使用 map 函数时,我们可以使用下面的案例类从 rdd 创建一个数据框:-

case class filematches(
row_num:Long,
matches:Long,
non_matches:Long,
non_match_column_desc:Array[String]
)

newrdd1.map(x=> filematches(x._1,x._2,x._3,x._4)).toDF()

众所周知,这很有效!!

我想知道,为什么我们在这里特别需要案例类? 我们应该能够使用带有参数化构造函数的普通类来实现相同的效果(因为它们将是 val 而不是私有的):-

class filematches1(
val row_num:Long,
val matches:Long,
val non_matches:Long,
val non_match_column_desc:Array[String]
)

newrdd1.map(x=> new filematches1(x._1,x._2,x._3,x._4)).toDF

这里,我使用 new 关键字来实例化类。

上面的运行给了我错误:-

错误:值 toDF 不是 org.apache.spark.rdd.RDD[filematches1] 的成员

我确定我在这里遗漏了一些关于案例类与常规类的关键概念,但还没有找到。

【问题讨论】:

标签: scala apache-spark


【解决方案1】:

解决错误 值 toDF 不是 org.apache.spark.rdd.RDD[...] 的成员 您应该将案例类定义移出使用它的功能。模式详情可以参考http://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/Spark-Scala-Error-value-toDF-is-not-a-member-of-org-apache/td-p/29878。

在您的其他查询中 - 案例类是语法糖,它们提供以下附加内容

案例类不同于一般类。它们专门用于创建不可变对象。

  1. 它们具有默认的应用函数,用作构造函数来创建对象。 (所以小代码)

  2. case 类中的所有变量默认都是 val 类型。因此不可变。这在火花世界中是一件好事,因为所有红色都是不可变的

    案例类的例子是 案例类书(名称:字符串) val book1 = Book("test")

您不能更改 book1.name 的值,因为它是不可变的。而且你不需要说 new Book() 在这里创建对象。

  1. 默认情况下,类变量是公共的。所以你不需要setter和getter。

此外,在比较案例类的两个对象时,比较的是它们的结构而不是引用。

编辑:Spark 使用以下类来推断模式 代码链接: https://github.com/apache/spark/blob/branch-2.4/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/ScalaReflection.scala

如果你检查。在 schemaFor 函数中(第 719 到 791 行)。它将 Scala 类型转换为催化剂类型。我还没有添加处理模式推断的非案例类的案例。因此,每次您尝试使用带有推断模式的非案例类时。它转到其他选项,因此不支持类型 $other 的 Schema 错误。

希望对你有帮助

【讨论】:

  • 您好,感谢您的回复。但我认为这个问题对我来说仍然是开放的。如果我声明一个带有 val 变量的通用类(这意味着不可变)并且默认情况下它们是公共的,那么我可以达到与上面的第 2 点和第 3 点相同的案例类所提供的效果?
  • 嗨,Shubham,我查看了 spark 代码并添加了更多解释.. 请建议您是否还好
  • 谢谢。我是 scala 的新手,因此我很难理解您提到的代码 sn-p。但我确实把它作为解决方案,现在,从普通类推断模式的选项不存在。
猜你喜欢
  • 2019-10-20
  • 2018-08-22
  • 1970-01-01
  • 1970-01-01
  • 2016-08-25
  • 1970-01-01
  • 2020-03-28
  • 1970-01-01
  • 2018-02-08
相关资源
最近更新 更多