将大文件上传到 AWS 数据库

Question

我必须将大文件上传到 AWS S3 存储桶，大约 500,000 行长和 30MB。考虑到速度和通话次数，最好的方法是什么？

Answer 1

您可以使用 AWS 开发工具包上传大型对象。例如，假设您使用的是 Java。要将大文件上传到 Amazon S3 存储桶，请使用 createMultipartUpload()。

要查看如何使用此方法的示例，请参阅：

https://github.com/awsdocs/aws-doc-sdk-examples/blob/master/javav2/example_code/s3/src/main/java/com/example/s3/S3ObjectOperations.java

Answer 2

如果您遇到任何与速度相关的问题并且上传需要很长时间，您可以尝试从控制台或以编程方式将这些文件上传到 s3，那么您应该考虑使用 S3 分段上传，它可以分多个部分上传文件。使用 multipart 时需要考虑几个因素。使用前先检查一遍

https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpuoverview.html

从我的角度来看，上传 30 MB 文件将是任何问题。你可以直接试试。