【问题标题】:How to add a step to emr cluster within a vpc through lambda function which is inside a same vpc and private subnet?如何通过位于同一 vpc 和私有子网内的 lambda 函数向 vpc 内的 emr 集群添加一个步骤?
【发布时间】:2020-08-30 11:25:12
【问题描述】:

当 lambda 函数不在 vpc 中时,我可以向 emr 集群添加一个步骤,但如果 lambda 函数驻留在存在 emr 集群的 vpc 内并且也存在相同的私有 VPC 子网。

这一次,当我尝试使用 boto3 客户端模块“add_job_flow_steps”在 emr 集群中添加一个步骤时,我遇到了超时错误

"errorMessage": "2020-05-14T02:48:46.771Z ad979ac2-ff26-476a-b301-23797caeeaa9 Task timed out after 123.10 seconds".

我是否需要添加一个 VPC 终端节点才能在同一 VPC 子网中的 AWS 服务之间进行通信,或者是否有任何其他方式可以进行通信?

【问题讨论】:

    标签: amazon-web-services aws-lambda


    【解决方案1】:

    当 lambda 函数不在 vpc 中时,我可以向 emr 集群添加一个步骤

    这是因为 lambda 不在 vpc 中,可以访问互联网。随后,您可以连接到 AWS 服务的公共端点,例如 EMR。

    如果 lambda 函数位于存在 emr 集群的 vpc 内部,并且也存在相同的私有 VPC 子网。

    这不起作用,VPC 中的because lambda 无法访问互联网:

    如果您的函数需要访问互联网,请使用 NAT。将函数连接到公共子网并不会为其提供 Internet 访问权限或公共 IP 地址。

    要让您的 lambda 访问 EMR 服务,您需要使用 NAT gateway 或 VPC interface endpoint,如以下链接所示:

    请注意,VPC 中的 lambda 也需要 modified execution role。

    【讨论】:

    • 如果我们在同一个 vpc 私有子网中有 lambda 和 emr。在不创建 vpc 端点的情况下是否有直接通信的可能性
    • @AbhishekDiwate 您需要自行连接到 AWS EMR 服务,该服务不在您的子网中。因此,您需要端点或 nat 网关。
    • 嗨,Marcin,当它们位于相同的私有子网和相同的 vpc 中时,我会收到此错误。如果它们位于相同的私有子网和相同的 vpc 中。不需要 VPC 端点吧??
    • @AbhishekDiwate 我建议使用 EMR 的 VPC 端点进行测试。如果这没有帮助,那么可能还有其他问题。
    猜你喜欢
    • 2021-06-13
    • 1970-01-01
    • 2019-08-01
    • 2022-12-12
    • 2021-07-23
    • 2023-03-26
    • 2019-03-16
    • 1970-01-01
    • 2022-01-13
    相关资源
    最近更新 更多