【问题标题】:AWS Glue: Maximum needed executors < active executorsAWS Glue:最大需要的执行者 < 活跃的执行者
【发布时间】:2019-05-28 07:30:21
【问题描述】:

我在查看我的 AWS Glue 作业指标时发现了一些奇怪的东西……

为什么需要活动执行器的数量 > 需要的最大执行器数?为什么他们没有被杀?

在 Glue 中,有时如图所示,活动执行器的数量会发生变化,我是根据活动执行器的数量还是我在作业设置中指定的数量收费?

【问题讨论】:

    标签: apache-spark aws-glue


    【解决方案1】:

    最大需要的执行者数量是从主动计算出来的 正在运行和待处理的任务计数,因此它可能小于 活跃执行者的数量。这是因为可以有执行者 在短时间内部分或完全空闲,并且 尚未退役。

    参考:https://docs.aws.amazon.com/glue/latest/dg/monitor-debug-capacity.html

    不,您需要根据分配的最大 DPU 数量和粘合作业执行时间付费。

    【讨论】:

      猜你喜欢
      • 2019-07-27
      • 2013-12-26
      • 2022-08-19
      • 1970-01-01
      • 1970-01-01
      • 2021-03-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多