【发布时间】：2014-04-27 23:49:39
【问题描述】：
我知道 Storm 现在运行在 Netty 上用于节点之间的通信？
Apache Spark 是否也使用 Netty？如果有，以什么方式？
【问题讨论】：
标签： netty apache-storm apache-spark
【发布时间】：2014-04-27 23:49:39
【问题描述】：
Spark 使用 Akka Actor 进行 RPC 和消息传递，而后者又使用 Netty。
此外，对于移动批量数据，使用 Netty。
- 对于随机播放数据，可以选择使用 Netty。默认情况下，NIO 直接用于传输 shuffle 数据。
- 对于广播数据（驱动程序到所有工作人员的数据传输），默认使用 Jetty。
【讨论】：
-
是Jetty还是Netty？
-
自 Spark 1.6 以来，Spark 中不再使用 Akka。见stackoverflow.com/questions/37448757/…