scala工作表用火花抛出错误答案

【问题标题】：scala worksheet throwing error with sparkscala工作表用火花抛出错误
【发布时间】：2018-04-16 23:44:31
【问题描述】：

我正在尝试使用 Intellij 中的 scala 工作表 运行 spark 测试。但是在sparksession 或sparkcontext 的实例化行，worksheet 抛出以下错误

java.lang.ClassNotFoundException: org.apache.spark.serializer.JavaSerializer 在 java.net.URLClassLoader.findClass(scala tutorial.sc:377) 在 java.lang.ClassLoader.loadClass(scala tutorial.sc:420) 在 sun.misc.Launcher$AppClassLoader.loadClass(scala tutorial.sc:327) 在 java.lang.ClassLoader.loadClass(scala tutorial.sc:353) 在 java.lang.Class.forName0(scala tutorial.sc) 在 java.lang.Class.forName(scala tutorial.sc:344) 在 org.apache.spark.util.Utils$.classForName(scala tutorial.sc:225) 在 org.apache.spark.SparkEnv$.instantiateClass$1(scala tutorial.sc:256) 在 org.apache.spark.SparkEnv$.instantiateClassFromConf$1(scala tutorial.sc:277) 在 org.apache.spark.SparkEnv$.create(scala tutorial.sc:280) 在 org.apache.spark.SparkEnv$.createDriverEnv(scala tutorial.sc:170) 在 org.apache.spark.SparkContext.createSparkEnv(scala tutorial.sc:253) 在 org.apache.spark.SparkContext.(scala tutorial.sc:428) 在 org.apache.spark.SparkContext$.getOrCreate(scala tutorial.sc:2316) 在 org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(scala tutorial.sc:827) 在 org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(scala tutorial.sc:819) 在#worksheet#.#worksheet#(scala tutorial.sc:116)

我尝试取消选中Scala 设置的Worksheet 选项下的Run worksheet in the compiler process，它不会抛出错误但甚至不会编译。

这是一个 Maven 项目，以下是我的依赖项

 <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.holdenkarau/spark-testing-base_2.10 -->
        <dependency>
            <groupId>com.holdenkarau</groupId>
            <artifactId>spark-testing-base_2.11</artifactId>
            <version>2.1.0_0.6.0</version>
        </dependency>

有人可以帮我解决这个问题吗？

【问题讨论】：

在编译器过程中取消选中运行工作表对 Intellij 2017.2.15 有效
感谢@ShankarKoirala 的建议，我试过了但没有用？？？？

标签： scala apache-spark intellij-idea

【解决方案1】：

不知何故，Use external compile server for scala 选项在Scala Compile Server 设置下未选中。

所以除了以下设置。

我必须启用以下设置

我希望这对和我有同样问题的每个人都有帮助。

【讨论】：