【发布时间】：2020-11-14 16:42:07
【问题描述】：
我想确保我的 spark 作业占用的内存不会超过我通过的内存，假设 400GB 是作业可以使用的最大值，据我了解关闭动态分配 (spark.dynamicAllocation.enabled = false) 和通过 --num-executors --executor-memory --driver-memory 在 Cloudera 堆栈中完成工作？错了就改正。
我必须设置其他设置以确保 spark 作业不会超出限制。
【问题讨论】：
-
您可以使用 spark.dynamicAllocation.maxExecutors 设置限制仍启用动态分配的执行器数量。实际上，IMO 那将是首选方式。
-
谢谢，我希望工作上升，假设我希望完全控制我的工作 100Gb 、 500GB 、 1TB 等......我不希望 spark 动态分配干扰所以我想要什么是静态分配...
标签： scala apache-spark hadoop cloudera