为什么缓存小型 Spark RDD 需要在 Yarn 中分配大量内存？

Question

缓存的RDD（共8个）并不大，只有30G左右，但是在Hadoop UI上，它显示Spark应用程序正在占用大量内存（没有活动作业running），即1.4T，为什么这么多？

为什么即使没有活动的作业正在运行，它也会显示大约 100 个执行程序（此处为 vCore）？

另外，如果缓存的 RDD 存储在 100 个 executor 中，这些 executor 是否会保留，其他 Spark 应用程序不能再使用它们来运行任务？换个说法：在执行程序中保留一点内存资源 (.cache) 会阻止其他 Spark 应用程序利用它们的空闲计算资源吗？

是否有任何潜在的 Spark 配置 / zeppelin 配置会导致这种现象？

---

更新 1

检查 Spark conf (zeppelin) 后，似乎有spark.executor.memory=10G 的默认设置（默认由管理员配置），这可能是原因。

但是，这里有一个新问题：是否可以只保留每个执行器中缓存的 RDD 所需的内存并释放其余部分，而不是始终保留最初设置的内存 spark.executor.memory=10G？

火花配置

Answer 1

也许您可以尝试在缓存之前将您的 RDD repartition(n) 分配到更少的 n < 100 分区。大约 30GB 的 RDD 可能适合十个 10GB 执行器的存储内存。可以在here 找到关于 Spark 内存管理的一个很好的概述。这样，只有那些持有缓存块的执行器会被“固定”到您的应用程序中，而其余的可以在 spark.dynamicAllocation.executorIdleTimeout（默认 60 秒）之后由 YARN 通过 Spark 动态分配回收。

问：是否可以只保留每个执行器中缓存的 RDD 所需的内存并释放其余部分，而不是始终保留最初设置的内存 spark.executor.memory=10G？

当 Spark 使用 YARN 作为其执行引擎时，YARN 为所有执行程序分配指定（按应用程序）大小的容器——至少 spark.executor.memory+spark.executor.memoryOverhead，但在 pyspark 的情况下可能更大。 Spark 实际使用了多少内存在容器内变得无关紧要，因为分配给容器的资源将被视为其他 YARN 应用程序的禁区。

Answer 2

Spark 假设您的数据平均分布在所有执行程序和任务上。这就是您为每个任务设置内存的原因。所以为了让 Spark 消耗更少的内存，你的数据必须均匀分布：

• 如果您正在读取 Parquet 文件或 CSV，请确保它们具有相似的大小。运行repartition() 会导致洗牌，如果数据如此倾斜，如果执行者没有足够的资源，可能会导致其他问题
• 缓存无助于释放执行器上的内存，因为它不会重新分配数据
• 您能否在舞台上的“事件时间线”下查看“绿色条有多大？”通常这与数据分布有关，因此这是一种查看每个任务（按比例）加载了多少数据以及它们正在执行多少数据的方法。由于所有任务都分配了相同的内存，因此您可以以图形方式查看资源是否被浪费（如果大部分是小条而大条很少）。下图显示了资源浪费示例

有多种方法可以为您的流程创建均匀分布的文件。我提到了一些可能性，但肯定还有更多：

• 使用 Hive 和 DISTRIBUTE BY 子句：您需要使用一个同样平衡的字段才能创建与预期一样多的文件（并具有适当的大小）
• 如果创建这些文件的进程是从数据库读取的 Spark 进程，请尝试根据需要创建尽可能多的连接，并使用适当的字段来填充 Spark 分区。正如here 和here 的partitionColumn、lowerBound、upperBound 和numPartitions 属性所解释的那样
• 重新分区可能会起作用，但请查看合并是否在您的进程中或在生成您正在从中读取的文件的前一个进程中也有意义