在 AWS S3 存储桶上上传大文件

Question

我正在尝试通过我的 Angular Web 应用将 大文件（PDF、视频） 上传到 AWS s3 bucket。我使用ng-file-upload 将文件上传到我的节点服务器，在节点上我使用multer-s3 npm 包。

对于小文件，它按预期工作得很好。但我无法使用上传大文件。它也没有给我任何错误。它只是不上传文件（如果文件很大），甚至不进入回调并超时。有什么方法可以处理将大文件上传到 s3 Bucket？

var uploadSingle = upload.single('uploadFile');

router.post('/uploadVideo',function(req,res,next){  
    uploadSingle(req,res,function(err){
                // doesn't come here if the file is large
            if(err){
                //Error Response , Error while uploading Module PDF;
            }
            else{
                //handling file upload
               // success response
            }
    });
}

如果有人能帮我解决这个问题，不胜感激。如果您知道其他可以帮助我在 AWS s3 存储桶上上传大文件的库，请提出建议。

Answer 1

您可以使用分段上传 API 在 S3 中上传大文件（最大 5 TB）。

来自documentation：

分段上传 API 旨在改善上传体验 对于较大的物体。您可以分段上传对象。这些对象 部分可以以任意顺序独立上传，也可以并行上传。 您可以对大小从 5 MB 到 5 TB 的对象使用分段上传。 有关更多信息，请参阅使用分段上传上传对象 API。

如果您使用的是SDK：

/* The following example initiates a multipart upload. */

 var params = {
  Bucket: "examplebucket", 
  Key: "largeobject"
 };
 s3.createMultipartUpload(params, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else     console.log(data);           // successful response
   /*
   data = {
    Bucket: "examplebucket", 
    Key: "largeobject", 
    UploadId: "ibZBv_75gd9r8lH_gqXatLdxMVpAlj6ZQjEs.OwyF3953YdwbcQnMA2BLGn8Lx12fQNICtMw5KyteFeHw.Sjng--"
   }
   */
 });

Answer 2

我当时遇到了同样的问题，但即使现在我似乎也没有找到好的解决方案。所以，我自己实现了分段上传过程，为了帮助像我这样的人，我写了一篇文章。你可以找到文章here。希望这篇文章对您有用。