我无法找到我的广播变量的大小。由于推动了集群的内存限制，这与我的项目有关。集群在 YARN 上运行。在应用程序管理器中，我可以看到各个执行程序和驱动程序的内存使用情况，但我认为这些只是持久化的 RDDS。
【问题讨论】：
sys.getsizeof 对于本地对象应该足够了）大小并将其乘以执行器的数量。
标签： python apache-spark pyspark
Spark 使用 pickle 序列化/反序列化广播变量。您可能想尝试的一件事是检查泡菜转储的大小，例如：
>>> import cPickle as pickle
>>> data = list(range(int(10*1e6))) # or whatever your broadcast variable is
>>> len(pickle.dumps(data))
98888896 # the measurement of the size of your broadcast variable, in bytes
关于影响集群内存限制的广播变量，previous question of mine 提供了一些来自 zero323 的有用提示。
【讨论】：