CDH5.16.1的Yarn提交任务默认资源分配

 

1 同时运行5个Spark任务的资源分配截图

 

2 每个任务占用3个Container 3个core以及4.5GB内存

也就是说一个Container需要 1个core 以及 512MB的内存

如果资源不够，可以提交任务时修改下内存分配，比如256MB，这样就可以提交更多的Spark任务到Yarn集群运行了。