EMR Web UI 的 AWS 网络策略？

Question

我在 EC2 实例中运行 Airflow，我希望它能够访问 EMR 中运行的所有端点。

我尝试更新 EMR 主节点上的安全组以允许来自 Ec2 实例的公共 IP 的所有连接。 （所有端口），但仍然无法击中任何东西。

我错过了什么吗？

Answer 1

如果没有关于正在运行的作业类型和您的物理环境的大量信息，就很难解决与网络相关的问题（就是这个问题）。话虽如此，我建议几件事：

1. 将您的安全组入站规则更改为基于您的 EC2 所在的安全组，而不是使用 ec2 实例的公共 IP。出于安全原因（不能保证您始终拥有该公共 IP）和灵活性（如果您必须销毁和重建您的 ec2 实例，您不需要更改它），这会更好。这可能足以单独解决问题，但如果不是：
2. 更新 EMR 的主节点和工作节点的安全组。根据您提交的作业类型和提交方式，有些作业只需要与主节点通信，而其他作业则需要连接到其他核心节点。