我必须在 AWS 中打开哪些端口才能运行部署在 Ambari 中的 Greenplum 集群？

Question

我在带有 Ambari 的 Amazon Web Services 中有一个 5 节点的 Greenplum 集群。我在我的安全组中打开了以下端口（全部使用 TCP 协议）： 80 50030 28080 8080 5432 50075 8441 50020 50010 443 9000 50070 22 50475 8021 8440 50470 50470 8020 50060 50090 51111 我无法在 Ambari 中启动服务，只有在我的 AWS 安全组中添加“所有流量”规则时才能启动服务。我必须打开哪些端口以及我可以关闭我的安全组的哪些端口？ 感谢您的帮助！

Answer 1

在 AWS 中部署时，您需要创建多个资源。

1. 可用区：在 Amazon 中部署任何大数据产品时，您只需要使用一个可用区。
2. VPC：就像 AZ 一样，只创建一个 VPC。您还可以配置 VPC 以启用 dns 主机名，这让事情变得更容易。
3. 子网：子网指定您部署的主机的 IP 地址范围。您还希望子网在启动时自动分配 IP 地址。
4. 安全组：创建 VPC 时，会自动创建一个安全组。您可以使用它或创建另一个。这很可能是您遇到问题的地方。

仅启用 TCP 端口 0-65535、UDP 端口 0-65535 和 ping（icmp 端口 -1）到安全组。不要向世界公开所有这些（0.0.0.0/0）。

例如：

aws ec2 authorize-security-group-ingress --group-id $security_group_id --protocol tcp --port 0-65535 --source-group $security_group_id
aws ec2 authorize-security-group-ingress --group-id $security_group_id --protocol udp --port 0-65535 --source-group $security_group_id
aws ec2 authorize-security-group-ingress --group-id $security_group_id --protocol icmp --port -1 --source-group $security_group_id

接下来，获取您的 IP 地址。这是一个巧妙的方法：

security_cidr=$(wget http://ipecho.net/plain -O - -q ; echo "/32")

现在，允许访问 ssh 并仅连接到您的 IP 地址的数据库。

aws ec2 authorize-security-group-ingress --group-id $security_group_id --protocol tcp --port 22 --cidr $security_cidr
aws ec2 authorize-security-group-ingress --group-id $security_group_id --protocol tcp --port 5432 --cidr $security_cidr

5. 网关：创建网关并将其附加到您的 VPC。
6. 路由：VPC 将自动创建一个路由表。您将需要使用网关和允许目的地为 0.0.0.0/0 的路由表进行路由。这允许集群通过 Internet 进行通信，但您的安全组仍然只允许您的 IP 地址连接。
7. Placement Group：创建它会将所有节点放在一起以获得更好的性能。
8. 部署实例：使用 ebs 优化选项和专用租赁。如果使用 EBS 存储，请使用 st1 磁盘类型。如果使用 ephemeral，请使用具有尽可能多的卷的 RAID 0。不要只创建一个 RAID0 挂载。

您仍然需要进行许多优化，例如启用 10GB 网络、安装英特尔网络驱动程序、配置操作系统以及格式化和安装磁盘。

更简单的解决方案是使用 Pivotal Greenplum Amazon Marketplace 产品，它已经为您配置了所有这些。它也可以在几分钟内部署集群。