ActorNotFound 异常试图在 Windows 7 上运行 Spark 1.3.1

Question

我们在试图理解为什么 Spark 1.3.1 无法在我的一位同事的 Windows 7 笔记本电脑上运行时遇到了障碍。 我的设置几乎相同，一切正常。

我搜索了错误消息，但仍然没有找到解决方法。

这是异常消息（在运行为 Hadoop 2.4 预构建的 spark 1.3.1 vanilla 安装后）

akka.actor.ActorInitializationException: exception during creation
        at akka.actor.ActorInitializationException$.apply(Actor.scala:164)
        at akka.actor.ActorCell.create(ActorCell.scala:596)
        at akka.actor.ActorCell.invokeAll$1(ActorCell.scala:456)
        at akka.actor.ActorCell.systemInvoke(ActorCell.scala:478)
        at akka.dispatch.Mailbox.processAllSystemMessages(Mailbox.scala:263)
        at akka.dispatch.Mailbox.run(Mailbox.scala:219)
        at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:393)
        at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
        at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
        at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
        at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
Caused by: akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka://sparkDriver/deadLetters), Path(/)
]
        at akka.actor.ActorSelection$$anonfun$resolveOne$1.apply(ActorSelection.scala:65)
        at akka.actor.ActorSelection$$anonfun$resolveOne$1.apply(ActorSelection.scala:63)
        at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32)
        at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.processBatch$1(BatchingExecutor.scala:67)
        at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply$mcV$sp(BatchingExecutor.scala:82)
        at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply(BatchingExecutor.scala:59)
        at akka.dispatch.BatchingExecutor$Batch$$anonfun$run$1.apply(BatchingExecutor.scala:59)
        at scala.concurrent.BlockContext$.withBlockContext(BlockContext.scala:72)
        at akka.dispatch.BatchingExecutor$Batch.run(BatchingExecutor.scala:58)
        at akka.dispatch.ExecutionContexts$sameThreadExecutionContext$.unbatchedExecute(Future.scala:74)
        at akka.dispatch.BatchingExecutor$class.execute(BatchingExecutor.scala:110)
        at akka.dispatch.ExecutionContexts$sameThreadExecutionContext$.execute(Future.scala:73)
        at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:40)
        at scala.concurrent.impl.Promise$DefaultPromise.scala$concurrent$impl$Promise$DefaultPromise$$dispatchOrAddCallb
ack(Promise.scala:280)
        at scala.concurrent.impl.Promise$DefaultPromise.onComplete(Promise.scala:270)
        at akka.actor.ActorSelection.resolveOne(ActorSelection.scala:63)
        at akka.actor.ActorSelection.resolveOne(ActorSelection.scala:80)
        at org.apache.spark.util.AkkaUtils$.makeDriverRef(AkkaUtils.scala:221)
        at org.apache.spark.executor.Executor.startDriverHeartbeater(Executor.scala:393)
        at org.apache.spark.executor.Executor.<init>(Executor.scala:119)
        at org.apache.spark.scheduler.local.LocalActor.<init>(LocalBackend.scala:58)
        at org.apache.spark.scheduler.local.LocalBackend$$anonfun$start$1.apply(LocalBackend.scala:107)
        at org.apache.spark.scheduler.local.LocalBackend$$anonfun$start$1.apply(LocalBackend.scala:107)
        at akka.actor.TypedCreatorFunctionConsumer.produce(Props.scala:343)
        at akka.actor.Props.newActor(Props.scala:252)
        at akka.actor.ActorCell.newActor(ActorCell.scala:552)
        at akka.actor.ActorCell.create(ActorCell.scala:578)
        ... 9 more

相关问题：

在网上搜索this issue并没有得到很多结果，这似乎表明这是一个非常罕见且具体的问题：

• 我看到过这个错误，但对于 Linux，而不是 windows：http://apache-spark-user-list.1001560.n3.nabble.com/Actor-not-found-td22265.html

• 这个似乎也没有提供任何分辨率：https://groups.google.com/a/lists.datastax.com/forum/#!topic/spark-connector-user/UqCYeUpgGCU

我的假设是这与某些解决/IP 冲突等有关，但我不确定。

更多详情

• JDK 1.7 64 位、Windows 7 64 位、为 Hadoop 2.4 预构建的 Spark 1.3.1
• 我们排除了所有与防火墙相关的问题，我们查看了所有被阻止的流量，但不存在
• 我们尝试“以管理员身份运行”，但没有成功。
• 我们尝试了 Spark submit 和 spark shell，最简单的 Spark "Hellow World" 不起作用。
• 我们确实在 localhost:4040 获得了 UI，作业被标记为已启动，但一直在等待（例如，即使 sc.parallelize(List(1,2,3)).count() 永远不会完成
• 在日志中未发现其他错误
• 我注意到我的系统和我朋友的系统之间的一个区别：当我执行 ping localhost 时，我得到 127.0.0.1，当他这样做时，他得到 ::1，不确定它是否相关，但我看到了一个关于 spark 的问题有 ipv6 的问题，并且看到它只在 1.4 中得到解决，这有关系吗？ https://issues.apache.org/jira/browse/SPARK-6440

我确定这是与网络/安全/权限相关的问题，但我们似乎无法查明它

有什么想法可以看下一步吗？

Answer 1

升级到 Spark 1.4.0 似乎已经解决了这个问题。

可能与https://issues.apache.org/jira/browse/SPARK-6440有关，但不能确定。