【问题标题】:Slow download / upload speed from AWS S3 to AWS EC2 in same region从同一区域的 AWS S3 到 AWS EC2 的下载/上传速度慢
【发布时间】:2021-08-15 07:07:35
【问题描述】:

我正在使用 AWS CLI 将大文件从 S3 存储桶(heroku db 备份)下载到我的 EC2 实例,并将大文件(大约 110gb)从我的 AWS EC2 上传到我的 AWS S3 存储桶

问题是下载(从我不拥有的存储桶)或上传到我的存储桶(它们都在同一区域 us-east-1 )。下载/上传时的速度从大约 60MB/s 开始,但在第一个 15gb 后下降到 7-8MB/s,即使我启用了传输加速。

所以这是 AWS CLI 配置或我的 EC2 实例(我正在使用 t2.micro 进行测试)的问题?Tks

【问题讨论】:

  • AWS 施加的唯一网络限制与实例类型有关。查看Amazon EC2 Instance Types - Amazon Web Services 上的网络性能 列。如果您选择更大的实例,或者支持更高网络性能的系列(例如 T3 系列),它应该会更快。
  • @JohnRotenstein 我用 speedtest 测试了我的 ec2 互联网连接。下载/上传速度接近1Gbps。已启用增强网络,但在将大文件下载/上传到 s3 时无法保持速度
  • 更新:我切换到增强网络的 t3 ec2,现在可以正常工作了

标签: amazon-web-services amazon-s3 amazon-ec2


【解决方案1】:

以下是您可以尝试的项目列表:

  • 在 EC2 实例上使用增强网络。
  • 使用并行工作负载进行数据传输。
  • 在 AWS 命令​​行界面 (AWS CLI) 上自定义上传配置。
  • 为 Amazon S3 使用 Amazon Virtual Private Cloud (Amazon VPC) 终端节点。
  • 升级您的 EC2 实例类型。
  • 使用分块传输。

在此处阅读更多信息:https://aws.amazon.com/premiumsupport/knowledge-center/s3-transfer-data-bucket-instance/

【讨论】:

  • 你知道为什么 S3 下载到我的 EC2 的速度这么慢吗,我需要从 heroku 下载数据库备份,它会为我生成 S3 链接。这是我的速度测试结果,所以我认为我的 EC2 实例互联网连接并不慢 :(speedtest.net/result/c/c8e0c1ab-c9aa-4eb7-b8e9-6a32531c777b
  • 可能是因为您使用的是 t2.micro 实例。同时打开增强型网络应该会增加带宽。
  • 更新:我切换到具有增强网络功能的 t3 ec2,现在可以正常工作。 tks
猜你喜欢
  • 2020-12-03
  • 1970-01-01
  • 1970-01-01
  • 2017-02-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-04-12
  • 1970-01-01
相关资源
最近更新 更多