在 IntelliJ Scala 工作表中使用 Apache Spark答案

【问题标题】：Using Apache Spark in IntelliJ Scala Worksheet在 IntelliJ Scala 工作表中使用 Apache Spark
【发布时间】：2017-05-31 02:45:12
【问题描述】：

我尝试使用最新的 Scala 插件在 IntelliJ 2016.3 中运行 Apache Spark 1.6.3 和 Scala 2.10.5。该项目是一个 Maven 项目。

如果我尝试使用以下方法创建新的 SparkContext：

val sparkConf = new SparkConf()
val sc = new SparkContext(sparkConf.setAppName("Spark-Scala-Demo").setMaster("local[*]"))

我明白了

17/01/16 14:05:28 ERROR SparkContext: Error initializing SparkContext.
java.lang.ClassNotFoundException: org.apache.spark.rpc.netty.NettyRpcEnvFactory
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:175)
    at org.apache.spark.rpc.RpcEnv$.getRpcEnvFactory(RpcEnv.scala:41)

代码在 IntelliJs scala 控制台以及定义主方法的普通类中运行良好。

那么 scala 工作表有什么不同？

【问题讨论】：

标签： scala apache-spark intellij-idea

【解决方案1】：

在工作表的开头试试这个：import org.apache.spark.rpc.netty

【讨论】：

没有帮助..同样的例外