Scala：项目包含 Akka 时的 Spark 异常答案

【问题标题】：Scala: Spark exception when project includes AkkaScala：项目包含 Akka 时的 Spark 异常
【发布时间】：2018-02-18 20:50:12
【问题描述】：

我有一个使用 spark 的项目，我想在其中使用 Akka。该项目以前运行良好，但是当我将其添加到build.sbt时：

libraryDependencies += "com.typesafe.akka" %% "akka-actor" % "2.5.3"

并尝试运行该项目，我收到此错误：

[error] (run-main-0) org.apache.spark.SparkException：作业因阶段失败而中止：任务序列化失败：java.lang.ClassNotFoundException：scala.Function0
[错误] java.lang.ClassNotFoundException: scala.Function0
[错误] 在 sbt.classpath.ClasspathFilter.loadClass(ClassLoaders.scala:63)
[错误] 在 java.lang.ClassLoader.loadClass(ClassLoader.java:357)
[错误] 在 java.lang.Class.forName0（本机方法）
[错误] 在 java.lang.Class.forName(Class.java:348)
[错误] 在 com.twitter.chill.KryoBase$$anonfun$1.apply(KryoBase.scala:41)
[错误] 在 com.twitter.chill.KryoBase$$anonfun$1.apply(KryoBase.scala:41)
[错误] 在 scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
[错误] 在 scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
[错误] 在 scala.collection.immutable.Range.foreach(Range.scala:160)
[错误]
scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
[错误] 在 scala.collection.AbstractTraversable.map(Traversable.scala:104)
[错误] 在 com.twitter.chill.KryoBase.(KryoBase.scala:41)

有什么想法吗？

【问题讨论】：

标签： scala apache-spark akka

【解决方案1】：

有了这样的 build.sbt

scalaVersion := "2.11.11"
libraryDependencies += "com.typesafe.akka" %% "akka-actor" % "2.5.3"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.2.0"

Akka 中的 HelloWorld 和 Spark 中的 WordCount 都可以正常工作。 Akka 可以使用 2.10-2.12，但 Spark 可以使用 2.10-2.11。如果没有代码示例和 build.sbt，很难说更多。

【讨论】：