我们都知道 Spark 在内存中进行计算。我只是对以下内容感到好奇。
如果我从 HDFS 在我的 pySpark shell 中创建 10 个 RDD，这是否意味着所有这 10 个 RDDs 数据都将驻留在 Spark Workers 内存中？
如果我不删除RDD，它会永远留在记忆中吗？
如果我的数据集（文件）大小超过可用 RAM 大小，数据将存储在哪里？
【问题讨论】：
标签： hadoop apache-spark pyspark hdfs rdd
如果我从 HDFS 在我的 pySpark shell 中创建 10 个 RDD，是否意味着所有这些 10 个 RDD 数据将驻留在 Spark 内存中？
是的，所有 10 个 RDD 数据都将分布在 spark worker 机器的 RAM 中。但并不是所有机器都必须每个RDD都有一个分区。当然，只有在延迟评估时对其执行任何操作时，RDD 才会将数据保存在内存中。
如果我不删除RDD，它会永远留在内存中吗？
Spark 自动取消持久化 RDD 或 Dataframe（如果不再使用）。为了知道 RDD 或 Dataframe 是否被缓存，您可以进入 Spark UI --> Storage 表并查看 Memory 详细信息。您可以使用df.unpersist() 或sqlContext.uncacheTable("sparktable") 从内存中删除df 或表。
link to read more
如果我的数据集大小超过了可用的 RAM 大小，数据将存储到哪里 存储？
如果 RDD 不适合内存，则某些分区将不会被缓存，并且会在每次需要时重新计算。 link to read more
如果我们说RDD已经在RAM中，也就是说它在内存中，那么persist()需要什么？ --根据评论
为了回答您的问题，当 RDD 上触发任何操作并且该操作找不到内存时，它可以删除未缓存/未持久化的 RDD。
一般来说，我们坚持需要大量计算或/和洗牌的 RDD（默认情况下 spark 坚持洗牌的 RDD 以避免昂贵的网络 I/O），所以当对持久化 RDD 执行任何操作时，它只会执行该操作，而不是根据沿袭图从头开始重新计算，check RDD persistence levels here。
【讨论】：
如果我在 Pyspark shell 中创建 10 个 RDD，是否意味着所有这些 10 个 RDD 数据将驻留在 Spark 内存中吗？
答案：RDD 仅包含“沿袭图”（应用的转换）。所以，RDD 不是数据！！！当我们对 RDD 执行任何操作时，所有的转换都会在操作之前应用。所以如果没有显式缓存（当然有一些优化会隐式缓存），每次执行一个动作时，整个转换和动作都会再次执行！！！
例如 - 如果您从 HDFS 创建一个 RDD，应用一些转换并对转换后的 RDD 执行 2 次操作，HDFS 读取和转换将执行两次！！！
所以，如果你想避免重新计算，你必须持久化 RDD。对于持久化，您可以选择 HEAP、Off-Heap、Disk 上的一种或多种组合。
如果我不删除 RDD，它会永远留在内存中吗？
Answer: 考虑到 RDD 只是“谱系图”，它将遵循宿主语言的相同范围和生命周期规则。但是如果你已经持久化了计算结果，你可以不持久化！！！
如果我的数据集大小超过可用 RAM 大小，数据将存储在哪里？
Answer: 假设您实际上已经将 RDD 持久化/缓存在内存中，它将被存储在内存中。 LRU 用于驱逐数据。 Refer 了解更多关于如何在 spark 中进行内存管理的信息。
【讨论】：