【问题标题】:AWS Glue DPU configurationsAWS Glue DPU 配置
【发布时间】:2018-02-08 11:42:36
【问题描述】:

我看到 DPU 由 4 个 vCPU 和 16 GB 内存组成。是否可以更改 vCPU、内存的设置,以免 DPU 用完或超出 DPU 限制。

我认为一个 Dev Endpoint 最多有 5 个 DPU,一个帐户最多有 2 个 DEV Endpoint?

问候

尤瓦

【问题讨论】:

    标签: aws-glue


    【解决方案1】:

    目前无法配置 DPU 内存,但您可以在您的帐户上申请 limit increase 以便能够使用更多 DPU。

    【讨论】:

      【解决方案2】:

      截至 2019 年 4 月,有两种新型工人:

      您现在可以在 AWS Glue 中为 Apache Spark 作业指定工作器类型 适用于内存密集型工作负载。

      以前,AWS Glue 中的所有 Apache Spark 作业都使用标准运行 每个工作节点配置 1 个数据处理单元 (DPU) 和 2 个 每个节点的 Apache Spark 执行器。您现在可以从两个新的 配置,G.1X 和 G.2X,为每个执行程序提供更多内存。

      https://aws.amazon.com/about-aws/whats-new/2019/04/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs/

      【讨论】:

        猜你喜欢
        • 2020-12-01
        • 2020-10-18
        • 1970-01-01
        • 2019-01-29
        • 1970-01-01
        • 2020-04-15
        • 2023-03-04
        • 2019-05-12
        • 2020-06-27
        相关资源
        最近更新 更多