bricyang

前段时间用graphX跑一个只有88M的小图,竟然给我报错说内存不够,我说怎么可能呢我可用内存可有2G呢

从网上东搞西搞一些解决方案,终于给我搞定了

其实原因是spark 的 java heap内存默认只给512M,有时候确实是不够用的,这时候只要改下{SPARK_HOME}/conf/spark-env.sh配置文件就行了

vim打开spark-env.sh

加入下面几句

export SPARK_DAEMON_JAVA_OPTS=-Xmx2048m
export SPARK_WORKER_MEMORY=-Xmx2048m
export SPARK_DAEMON_MEMORY=-Xmx2048m
export SPARK_REPL_OPTS=-XX:MaxPermSize=2048m 

 它们分别代表spark几个内存使用配置的最大值,不管那么多全部直接设为最大就好了,有兴趣的可以很快在网上搜到它们分别代表什么

分类:

技术点:

相关文章:

  • 2021-12-07
  • 2021-08-11
  • 2022-01-05
  • 2021-07-10
  • 2021-05-04
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-01-19
  • 2021-09-16
  • 2021-07-03
  • 2021-04-16
  • 2021-12-09
  • 2021-11-29
相关资源
相似解决方案