amazon emr - 创建集群是否使用数据传出？

Question

我在 ec2 上使用带有 emr 的 aws 并收取大量数据传输费用，几天大约 900 GB，但我没有发送任何数据。

我唯一要做的就是创建一个 emr 集群并将数据从 s3 下载到它。

我发现this 是关于费用的，并且发现当您不发送任何数据时，数据传输到互联网不应该发生！

我不断看到向许多 AWS 区域和 Internet 传输数据的多项费用，我找不到任何参考资料。会是什么？

Answer 1

您很可能正在访问不同区域的 S3 存储桶。用于您的数据或用于编写 EMR 集群日志。

有几种方法可以诊断此问题。首先，当然是查看您的 EMR 集群配置。

其次是启用VPC flow logs，它将告诉您数据的确切来源和目的地。但是，这些可能会受到限制：如果您通过 NAT 运行所有流量，那么它们只会显示 NAT，而不是最终的源/目标。

第三种方法是使用阻止出站连接的安全组，并查看日志以查看失败的原因。