通过 Livy 创建火花会话时出现反射错误答案

【问题标题】：Reflection error while creating spark session through Livy通过 Livy 创建火花会话时出现反射错误
【发布时间】：2018-12-11 23:48:54
【问题描述】：

我正在通过 LivyClient 创建一个 spark 会话。创建会话的代码是 -

var client: LivyClient = null
  try {
    client = new LivyClientBuilder()
      .setURI(new URI("http://127.0.0.1:4141"))
      .build();
    val pi = client.submit(new FileStream()).get
  } finally {
    client.stop(true)
  }

在创建会话时，我收到错误 -

线程“主”scala.reflect.internal.FatalError 中的异常：对象 Predef 没有成员 classOf enter image description here

我正在使用以下版本-

Apache Livy - 0.5.0-孵化
Apache Spark - 2.3.0
Scala - 2.11 (2.11.8)

我已经检查了所有三个中的 scala-reflect 版本，它们是相同的。

我无法理解导致以下错误的原因

【问题讨论】：

欢迎来到 Stack Overflow。强烈建议不要使用错误图片。请edit您的问题并将错误包含在文本中。
你应该将 Livy Job 传递给 client.submit 方法
我遇到了同样的错误。你有没有找到解决这个问题的方法？

标签： scala apache-spark livy

【解决方案1】：

您使用的是什么版本的 Java？ Java 9 中关于删除已弃用功能的更改似乎停止了 Spark，并出现与反射有关的错误。主页说 Java 必须至少是 8 版。

【讨论】：