在 EC2 实例中加载大数据答案

【问题标题】：Loading large data in an EC2 instances在 EC2 实例中加载大数据
【发布时间】：2020-01-23 04:11:25
【问题描述】：

我想使用深度学习对数据进行建模，因此我尝试从存储在 s3 中的数据（即 parquet 格式）中加载 EC2 实例（p2.8xlarge）中的数据，s3 中 parquet 文件夹的大小为 9 GB，我我正在使用 pyarrow 从 s3 加载镶木地板数据，但加载该数据大约需要 3 小时，我想在 10-15 分钟到一个小时内减少它。任何帮助将不胜感激。谢谢

【问题讨论】：

instance和s3是否在同一个区域？以及您使用的是哪种实例类型？
是的，它们在同一个区域，parquet大小是压缩后的大小，解压后大于50 GB，我使用的实例类型是p2.8xlarge
您当前的实例带宽是10GB 如果您需要高网络性能，那么您需要网络优化实例。
EC2 到 S3 – 进出 Amazon Simple Storage Service (S3) 的流量现在可以利用高达 25 Gbps 的带宽。以前，这种类型的流量可以访问 5 Gbps 的带宽。这对于在 S3 中访问大量数据或使用 S3 进行备份和恢复的应用程序很有用。aws.amazon.com/blogs/aws/…
谢谢，如果我使用网络优化实例，我将能够在有限的时间内获取数据，您能否推荐一些网络优化实例，这真的很有帮助。

标签： amazon-web-services amazon-s3 amazon-ec2 parquet pyarrow

【解决方案1】：

从中得出的第一个结论是区域和连通性很重要。显然，如果您通过 EC2 实例在 AWS 中移动数据，例如从 EBS 卷中移动数据，则最好您的 EC2 实例和 S3 区域对应。更令人惊讶的是，即使在同一区域内移动数据，俄勒冈（一个较新的区域）也比弗吉尼亚更快

其次，实例类型很重要。如果您使用 EC2 服务器，则某些实例类型的网络连接带宽比其他实例类型更高。如果您在优秀的 ec2instances.info 列表中按“网络性能”排序，您可以看到这一点。

所以你必须选择提高这个速度。

在当前实例中启用增强联网并检查性能
使用的网络优化实例将提供高网络带宽

Enhanced Networking on Linux:

首先，尝试在您当前的实例中启用增强型网络，并检查性能是否有所改善，如果没有改善则进行下一步。

增强型网络使用单根 I/O 虚拟化 (SR-IOV) 在支持的实例上提供高性能网络功能 类型。 SR-IOV 是一种设备虚拟化方法，它提供更高的 I/O 性能和更低的 CPU 利用率传统的虚拟化网络接口

如果您当前的实例支持，您可以先检查是否支持。您可以查看文章以获得支持

enable enhanced-networking

EC2 到 S3 -

进出 Amazon Simple Storage Service (S3) 的流量现在可以占用高达 25 Gbps 的带宽优势。以前，这个流量 type 可以访问 5 Gbps 的带宽。这将有利于在 S3 中访问大量数据或使用用于备份和恢复的 S3。

The-floodgates-are-open-increased-network-bandwidth-for-ec2-instances

优化 Amazon EC2 A1 实例上的网络密集型工作负载

A1 instances are powered 由我们内部开发基于 Arm 的 AWS Graviton 处理器，成本降低 45% 与具有相同数量的 vCPU 和 DRAM 的其他实例类型相比。这些实例基于 AWS Nitro 系统，并提供使用 Elastic Network Adapters 实现高达 10 Gbps 的增强网络连接 (ENA)。

optimizing-network-intensive-workloads-on-amazon-ec2 要么 i3en-of-i-o-optimized-ec2-instances

您可以进一步探索这两篇文章，它们将帮助您如何使 s3 更快地传输到 ec2。

/network-performance-within-amazon-ec2-and-to-amazon-s3

10-things-might-not-know-using-s3

【讨论】：