【问题标题】:Node aws-sdk s3 file upload sizes节点 aws-sdk s3 文件上传大小
【发布时间】:2016-04-11 09:13:55
【问题描述】:

在为 nods.js 使用 aws-sdk npm 插件时,我可以使用以下代码上传 50kb 的 pdf(到 AWS s3):

var params = {
            Bucket: BUCKET, 
            Key: pdf_key, 
            Body: file,
            ContentType: 'application/pdf'
        };
        var s3 = new AWS.S3();

        s3.putObject(params, function(error, data) {
            console.log(data);
            console.log(error);
            if (error) {
                console.log(error);
                callback(error, null);
            } else {
                callback(null, pdf_key);
            }
        });

但是,当上传 11mb 的 pdf 文件时,即使指定了 ContentLength,上传也会永远持续下去,即使超时 2 分钟也是如此。

问题是如何让 aws s3 接受大的 pdf 文件?

更新

我仍然没有找到任何文档或答案。

更新 2

我将接受显示此框架或其他可以执行此操作的框架的答案。我需要该框架还能够允许对对象进行身份验证。

更新 3 我现在可以让它工作,但我还没有找到它不应该工作的原因。

提前致谢!

【问题讨论】:

  • 我认为这不是代码问题。上传到 S3 的速度通常很慢,而且网络波动会使它变得更加不可预测。如果您担心上传大文件,可以使用分段上传。这是一个例子:gist.github.com/sevastos/5804803
  • 嗯,分段上传听起来不错,但真的有必要吗?最大的 PDF 约为 50mb,如果您写它通常很慢等,我可以接受答案,因为我现在可以使用它,而无需从我的工作互联网进行任何修改,这比我的家要快。

标签: node.js amazon-s3 aws-sdk


【解决方案1】:

连接到 S3 并不快,然后根据网络波动,您可能会遇到超时和其他奇怪的行为。

您提供的代码很好,但您可以利用分段上传来解决问题,尤其是大于 5MB 的文件。

我创建了a rough implementation of a multipart upload,并让它重试上传任何失败的部分最多 3 次,这也适用于小于 5MB 的文件。

【讨论】:

  • 谢谢,我现在会使用我自己的代码,但如果问题再次出现,我知道去哪里寻找。谢谢你的回答!
  • 我正在尝试上传不带分段的 ~60 Mb 文件。奇怪的是,它在我的本地机器上的开发环境中运行良好。但它会从我托管在 AWS 上的生产环境中抛出错误。错误:“(节点)警告:检测到递归 process.nextTick。这将中断下一版本的节点。请使用 setImmediate 进行递归延迟。”
  • 如果您想将文件直接从 URL 流式传输到 s3,您能给我举个例子吗?我希望缓冲区直接从 URL 读取文件而无需先下载,但我无法使其工作。
猜你喜欢
  • 1970-01-01
  • 2012-12-01
  • 1970-01-01
  • 2016-05-10
  • 2019-08-12
  • 1970-01-01
  • 1970-01-01
  • 2020-08-11
  • 2014-05-27
相关资源
最近更新 更多