【发布时间】：2015-11-08 09:07:25
【问题描述】：
我想知道 spark 中广播变量的大小是否有限制，因为我需要广播一个大对象（6GB，将来可能更大）。 我在主页和这个网站上进行了搜索，但没有找到可以回答我的问题。 我会在广播一个非常大的对象时遇到问题吗？
【问题讨论】：
-
它会下载到每台机器上，因此您需要内存来存储广播变量和所有任务。
-
您的意思是广播变量的大小仅受每个执行程序的内存限制，例如，如果我们有足够的 RAM，我们可以拥有一个 1TB 的广播变量？
标签： apache-spark limit broadcast