Spark 如何执行 I/O？答案

【问题标题】：How does Spark perform I/O?Spark 如何执行 I/O？
【发布时间】：2018-10-30 17:26:04
【问题描述】：

据我了解，Spark 使用并行 IO 读取文件。该结论来自其他堆栈溢出响应。

我的问题是使用独立方法还是集体方法来触发读取数据？换句话说，是每个工作人员读取一组数据，还是工作人员相互通信并协作以高效读取数据？

【问题讨论】：

【解决方案1】：

每个Apache Spark workers都有Executors，Workers可以部署为分布式或独立模式。
每个 Worker 处理它自己处理的数据。有关更多详细信息，请参阅此answer 或此link

【讨论】：

【解决方案2】：

worker通过driver进行通信，每个worker处理自己的数据

【讨论】：