很多错误错误监视器：火花启动时的关联错误

Question

我在 mesos 上使用 spark（使用 kafka 和 cassandra） 在启动时，我有很多错误（〜100）然后一切正常。 错误属于这种类型：

[Stage 0:=======> (24 + 26) / 50][Stage 3:> (0 + 24) / 24]15/09/17 09:48:35 ERROR ErrorMonitor: AssociationError [akka.tcp://sparkDriver@10.131.xx.xxx:58325]

此错误的原因可能是什么？我该如何解决？

Answer 1

日志似乎是噪音。

CDH 5.5.0 中的 Spark 1.5.0 也会出现此问题，Cloudera 如下所述。

http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_rn_spark_ki.html

在 YARN 上使用 Spark 时，驱动程序报告误导性错误消息 Spark 驱动程序报告误导性错误消息，例如：

ERROR ErrorMonitor: AssociationError [akka.tcp://sparkDriver@...] -> [akka.tcp://sparkExecutor@...]：错误 [与 [akka.tcp://sparkE xecutor@...] 的关联失败] [akka.remote.EndpointAssociationException：与 [akka.tcp://sparkExecutor@...] 的关联失败]]

解决方法：将以下属性添加到 Spark log4j 配置文件：log4j.logger.org.apache.spark.rpc.akka.ErrorMonitor=FATAL。请参阅配置 Spark 应用程序日志记录属性。