AWS RDS SQL Server 迁移 - 将大型备份文件上传到 AWS S3答案

【问题标题】：AWS RDS SQL Server Migration - Upload large backup file to AWS S3AWS RDS SQL Server 迁移 - 将大型备份文件上传到 AWS S3
【发布时间】：2021-05-23 13:14:56
【问题描述】：

作为本地 SQL Server 迁移到 AWS RDS 的一部分，我需要将大约 20GB 的本地备份文件上传到 AWS S3 存储桶，以在 AWS RDS SQL Server 实例上恢复。使用 AWS CLI

C:\Test>aws s3 cp C:\testfolder\mydb_02182021.bak s3://dbs3/OnPremisesBackups/mydb_02182021.bak

它运行了一段时间，上传大约 2.5-3GB，然后抛出这样的错误

upload failed: ..\..\testfolder\mydb_02182021.bak to s3://dbs3/OnPremisesBackups/mydb_02182021.bak Connection was closed before we received a valid response from endpoint URL: "https://dbs3.s3.amazonaws.com/OnPremisesBackups/mydb_02182021.bak?uploadId=xxxxxxxxx-&partNumber=601".

根据 AWS 文档，高级 S3 命令会破坏大文件并分段上传。这里有哪些选择？将备份保存到多个文件中并上传？还有另一个备份大小为 200GB 的数据库，怎么做？我检查了分段上传，它更多的是 Unix/Linux 版本 - 使用 unix 命令将文件分成几部分并加载它们。它在 Windows 中是如何工作的？

【问题讨论】：

有一些方法可以恢复 S3 分段上传，但从命令行很难。我会尝试使用 CloudBerry Explorer 之类的工具，看看它是否更适合您。 msp360.com/explorer/licensing.aspx貌似s3cmd也支持恢复上传了github.com/s3tools/s3cmd

标签： sql-server amazon-web-services amazon-s3 amazon-rds database-migration

【解决方案1】：

当您运行 aws s3 cp 等高级 (aws s3) 命令时，Amazon S3 会自动为大型对象执行分段上传。在分段上传中，一个大文件被分成多个部分并分别上传到 Amazon S3。上传所有部分后，Amazon S3 将这些部分合并到一个文件中。分段上传可以加快上传速度并降低大文件失败的可能性。

我相信您的连接有问题，可能使用 ftp 或 scp 将其上传到 ec2 服务器，然后从那里运行 s3 cp 命令

【讨论】：

是的......因为我连接到 VPN..它很慢。我确实在本地服务器上安装了 AWS CLI 并复制了文件……很快……