【问题标题】:When sending message from remote actor to Spark actorStream, connection always disconnect从远程actor向Spark actorStream发送消息时,连接总是断开
【发布时间】:2015-03-23 22:18:52
【问题描述】:

从远程actor向spark发送消息时,心跳总是失败:

远程节点的日志:

[INFO] [03/23/2015 22:13:33.591] [wtb-akka.remote.default-remote-dispatcher-6] [akka.tcp://wtb@127.0.0.1:2552/system/ transports/akkaprotocolmanager.tcp0/akkaProtocol-tcp%3A%2F%2FsparkDriver%40127.0.0.1%3A7777-1] 远程无响应。握手超时或传输故障检测器已触发。

[警告] [03/23/2015 22:13:33.605] [wtb-akka.remote.default-remote-dispatcher-5] [akka.tcp://wtb@127.0.0.1:2552/system/ endpointManager/reliableEndpointWriter-akka.tcp%3A%2F%2FsparkDriver%40127.0.0.1%3A7777-0] 与远程系统 [akka.tcp://sparkDriver@127.0.0.1:7777] 的关联失败,地址现在为 [ 5000]毫秒。原因是:[解除关联]。

Spark 节点的日志:

15/03/23 22:13:33 WARN ReliableDeliverySupervisor:与远程系统 [akka.tcp://wtb@127.0.0.1:2552] 的关联失败,地址现在被门控 [5000] 毫秒。原因是:[解除关联]。

我错过了什么导致了这些错误?

【问题讨论】:

    标签: apache-spark akka spark-streaming akka-remote-actor


    【解决方案1】:

    Spark 默认禁用 Akka 心跳。设置为 1000 秒。设置心跳间隔修复此问题。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-09-11
      • 1970-01-01
      • 2014-09-28
      • 2019-10-17
      • 1970-01-01
      • 1970-01-01
      • 2017-06-29
      • 2021-04-07
      相关资源
      最近更新 更多