spark UI - 了解使用的指标内存

【问题标题】：spark UI - Understand metrics memory usedspark UI - 了解使用的指标内存
【发布时间】：2020-02-06 16:19:04
【问题描述】：

能否请您帮助我了解有关 spark UI 内存的指标：已使用 10 MB（总计 552.6 GB）

PartitionNumber.nbExecutors = conf.getInt("spark.executor.instances", 20)
PartitionNumber.nbPartitions = PartitionNumber.nbExecutors * conf.getInt("spark.executor.cores", 2) * 3
  conf.set("spark.sql.shuffle.partitions", PartitionNumber.nbPartitions.toString())

使用的内存是 10Mb，可用内存是 552Gb 是否正确？

如果您能提供任何帮助或建议，我们将不胜感激

谢谢

【问题讨论】：

标签： scala apache-spark apache-spark-sql spark-streaming

【解决方案1】：

所有执行程序可用的总内存：552.6 Gb，所有执行程序使用的总内存：10 Mb

您可以在“存储内存”列中看到它（Spark 执行程序可用于存储和缓存 rdds/dfs 的内存）。每个执行程序使用 9.1 Gb 中的 169.1 Kb，并且有 61 个执行程序：

61 * 169.1 Kb ~= 10 Mb 61 * 9.1 Gb ~= 555 Gb

【讨论】：

所以增加每个执行器的存储内存让 Spark 运行得更快？
不幸的是，事情没那么简单。答案实际上取决于你的 Spark 程序做什么以及什么样的数据。调优 Spark 的方法有很多，内存只是其中一种选择。如果您想更好地理解和调整 Spark，请查看 Holden Karau 的“高性能 Spark”一书。
如果您想加快现有程序的速度 - 您需要提出一个范围更窄的问题，并提供有关数据及其处理方式的更多信息