【发布时间】:2019-05-28 07:30:21
【问题描述】:
我在查看我的 AWS Glue 作业指标时发现了一些奇怪的东西……
为什么需要活动执行器的数量 > 需要的最大执行器数?为什么他们没有被杀?
在 Glue 中,有时如图所示,活动执行器的数量会发生变化,我是根据活动执行器的数量还是我在作业设置中指定的数量收费?
【问题讨论】:
标签: apache-spark aws-glue
我在查看我的 AWS Glue 作业指标时发现了一些奇怪的东西……
为什么需要活动执行器的数量 > 需要的最大执行器数?为什么他们没有被杀?
在 Glue 中,有时如图所示,活动执行器的数量会发生变化,我是根据活动执行器的数量还是我在作业设置中指定的数量收费?
【问题讨论】:
标签: apache-spark aws-glue
最大需要的执行者数量是从主动计算出来的 正在运行和待处理的任务计数,因此它可能小于 活跃执行者的数量。这是因为可以有执行者 在短时间内部分或完全空闲,并且 尚未退役。
参考:https://docs.aws.amazon.com/glue/latest/dg/monitor-debug-capacity.html
不,您需要根据分配的最大 DPU 数量和粘合作业执行时间付费。
【讨论】: