【发布时间】：2019-03-02 14:52:36
【问题描述】：
我对用于内存计算的 spark 的工作机制有点困惑。 如果 spark 在内存中进行处理， 当它有 16 GB 的内存存储时，它如何计算 100 TB 的数据
【问题讨论】：
-
查看this 视频可能会回答您可能遇到的许多问题。
标签： apache-spark
【发布时间】：2019-03-02 14:52:36
【问题描述】：
Spark 将处理适合机器资源和计算能力的数据块。这项工作将分为若干次迭代，在此期间，spark 会将数据加载到内存中，对其进行处理，然后在必要时将结果写回磁盘以处理下一个数据块。
【讨论】：