scala 2.10的spark 1.6中奇怪的隐式转换问题[重复]

Question

以下是示例代码，仅当我将这两段代码放在 spark shell 中时才会发生。它也只发生在 spark 1.6 和 scala 2.10 上。我想这是scala 2.10的问题。有谁知道根本原因。谢谢

case class Bank(
  age: Integer,
  job: String,
  marital: String,
  education: String,
  balance: Integer
)

val bank = 
  bankText.
    map(s => s.split(";")).
    filter(s => s(0) != "\"age\"").
    map(
      s =>
        Bank(
          s(0).toInt,
          s(1).replaceAll("\"", ""),
          s(2).replaceAll("\"", ""),
          s(3).replaceAll("\"", ""),
          s(5).replaceAll("\"", "").toInt
        )
    ).toDF()

错误：

error: value toDF is not a member of org.apache.spark.rdd.RDD[Bank]
possible cause: maybe a semicolon is missing before `value toDF'?
       ).toDF()
         ^

Answer 1

这是一个未解决的隐式问题。 .toDF() 在 spark 源中的 DatasetHolder 中定义。

将案例类移到您尝试 toDF 的方法之外，

case class Bank(???)

那么，在你的方法中，

import sparkSession.implicits._
val rdd: RDD[Bank] = ???

rdd.toDF()

注意，toDF 与大括号一起使用。

更多信息请点击此处：https://issues.scala-lang.org/browse/SI-6649