通过执行spark-submit XXX 命令来执行jar包的时候可能会出现以下错误:
Java 堆内存溢出,出现这种情况可能是因为spark默认分配给Java driver执行内存不够,需要我们手动设定Java driver内存。
解决方案:
spark submit命令后添加配置项: --driver-memory 8G
通过执行spark-submit XXX 命令来执行jar包的时候可能会出现以下错误:
Java 堆内存溢出,出现这种情况可能是因为spark默认分配给Java driver执行内存不够,需要我们手动设定Java driver内存。
解决方案:
spark submit命令后添加配置项: --driver-memory 8G
相关文章: