如何在 Pyspark 中打印算法的内存使用情况？

Question

我在 Pyspark 中编写了两个算法，我需要比较这两个算法的内存使用情况并报告最好的一个。有什么方法可以计算 Pyspark 中任何代码块的内存或 RAM 使用情况？

我在 spark 文档中搜索，但没有找到任何方法，而且不知何故我还是 pyspark 的新用户。

Answer 1

不幸的是，PySpark 没有提供一种内置的方法来计算一段代码的内存或 RAM 使用情况。您可以考虑使用外部工具来测量内存使用情况，例如 Python 中的 psutil 库。此外，您还可以通过 Spark Web UI 或 Spark 日志文件监控 Spark 使用的系统资源（例如 CPU 和内存）。

代码示例：

import resource, sys

def memory_usage_psutil():
# return the memory usage in MB
import psutil
process = psutil.Process(os.getpid())
mem = process.memory_info().rss / float(2 ** 20)
return mem

def memory_usage_resource():
rusage_denom = 1024.
if sys.platform == 'darwin':
# ... it seems that in OSX the output is different units ...
rusage_denom = rusage_denom * rusage_denom
mem = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss / rusage_denom
return mem

测量一段代码的内存使用情况

start_mem = memory_usage_resource()

要测量的代码 在此处运行您的 Spark 代码

end_mem = memory_usage_resource()
print("Memory usage:", end_mem - start_mem, "MB")

请注意，并非所有平台都支持资源模块，因此您可能需要使用替代方法来测量内存使用情况，例如 psutil。此外，内存使用量测量可能不是 100% 准确，因为它可能因操作系统和环境而异。