使用 Java 在 Amazon S3 上上传大尺寸（超过 1 GB）文件：大文件临时占用服务器中的大量空间

Question

我正在尝试使用 Java 在亚马逊 S3 上上传大文件（超过 1 GB）

• 我正在使用 AWS S3 分段上传来分块上传大文件。 https://docs.aws.amazon.com/AmazonS3/latest/dev/HLuploadFileJava.html

• 我也在使用从前端分块上传文件。

所以，正在上传的文件会临时分块上传到服务器上，然后分块上传到 S3 上。 现在的问题是这种方法给服务器带来了巨大的负载，因为这会暂时消耗服务器空间。如果多个用户同时尝试上传大文件，则会产生问题。

有没有什么方法可以直接从用户系统上传文件到亚马逊S3而不是临时存储在服务器上？

如果直接通过前端上传文件，则存在密钥泄露的重大风险。

Answer 1

您应该利用签名 URL 直接从客户端上传 这方面有很多文档

AWS SDK Presigned URL + Multipart upload

预签名 URL 很有用 if you want your user/customer to be able to upload a specific object to your bucket，但您不需要它们具有 AWS 安全凭证或权限。

您也可能对限制用户能够上传的大小感兴趣

Limit Size Of Objects While Uploading To Amazon S3 Using Pre-Signed URL

将签名 URL 视为客户端访问特定 S3 位置的临时凭据。这些凭据会在短时间内过期，因此安全问题较少，但请记住适当限制对签名 URL 的访问