我正在尝试使用具有要求的节点 js 服务器在亚马逊 S3 上流式传输文件的解决方案：
我不想使用从浏览器直接上传文件，因为在这种情况下需要共享 S3 凭据。从 node js 服务器上传文件的另一个原因是上传文件之前可能还需要应用一些身份验证。
我尝试使用 node-multiparty 来实现这一点。但它没有按预期工作。您可以在https://github.com/andrewrk/node-multiparty/issues/49 看到我的解决方案和问题。它适用于小文件，但适用于大小为 15MB 的文件。
任何解决方案或替代方案？
【问题讨论】：
标签： node.js file-upload amazon-s3
您现在可以在“将文件上传到 Amazon S3 存储桶”部分中通过 official Amazon SDK for nodejs 使用流式传输，或查看他们的 example on GitHub。
更棒的是，您终于可以做到事先不知道文件大小。只需将流作为Body 传递：
var fs = require('fs');
var zlib = require('zlib');
var body = fs.createReadStream('bigfile').pipe(zlib.createGzip());
var s3obj = new AWS.S3({params: {Bucket: 'myBucket', Key: 'myKey'}});
s3obj.upload({Body: body})
.on('httpUploadProgress', function(evt) { console.log(evt); })
.send(function(err, data) { console.log(err, data) });
【讨论】：
yazl zip 对象的输出流？
pipe 转换为流来缓冲到zlib.createGzip()。 const { Duplex } = require('stream');`
供您参考，v3 SDK 发布时带有一个专用模块来处理该用例：https://www.npmjs.com/package/@aws-sdk/lib-storage
我花了一段时间才找到它。
【讨论】：
试试https://www.npmjs.org/package/streaming-s3。
我用它来并行上传几个大文件（>500Mb），效果很好。 它非常可配置，还允许您跟踪上传统计信息。 您不需要知道对象的总大小，也不会在磁盘上写入任何内容。
【讨论】：
我在工作项目here 中使用s3-upload-stream 模块。
@raynos 在他的http-framework 存储库中也有一些很好的例子。
【讨论】：
您也可以查看 - https://github.com/minio/minio-js。它具有最少的抽象 API 集来实现最常用的 S3 调用。
以下是流式上传的示例。
$ npm install minio
$ cat >> put-object.js << EOF
var Minio = require('minio')
var fs = require('fs')
// find out your s3 end point here:
// http://docs.aws.amazon.com/general/latest/gr/rande.html#s3_region
var s3Client = new Minio({
url: 'https://<your-s3-endpoint>',
accessKey: 'YOUR-ACCESSKEYID',
secretKey: 'YOUR-SECRETACCESSKEY'
})
var outFile = fs.createWriteStream('your_localfile.zip');
var fileStat = Fs.stat(file, function(e, stat) {
if (e) {
return console.log(e)
}
s3Client.putObject('mybucket', 'hello/remote_file.zip', 'application/octet-stream', stat.size, fileStream, function(e) {
return console.log(e) // should be null
})
})
EOF
putObject() 这里是一个完全托管的单个函数调用，文件大小超过 5MB，它会在内部自动执行多部分。您也可以恢复失败的上传，它将通过验证之前上传的部分从上次中断的地方开始。
另外这个库也是同构的，也可以在浏览器中使用。
【讨论】：
如果它对我能够成功从客户端流式传输到 s3 的任何人有所帮助（无需内存或磁盘存储）：
https://gist.github.com/mattlockyer/532291b6194f6d9ca40cb82564db9d2a
服务器端点假定req 是一个流对象，我从客户端发送了一个文件对象，现代浏览器可以将其作为二进制数据发送，并在标头中添加了文件信息集。
const fileUploadStream = (req, res) => {
//get "body" args from header
const { id, fn } = JSON.parse(req.get('body'));
const Key = id + '/' + fn; //upload to s3 folder "id" with filename === fn
const params = {
Key,
Bucket: bucketName, //set somewhere
Body: req, //req is a stream
};
s3.upload(params, (err, data) => {
if (err) {
res.send('Error Uploading Data: ' + JSON.stringify(err) + '\n' + JSON.stringify(err.stack));
} else {
res.send(Key);
}
});
};
是的，将文件信息放在标题中会破坏约定，但如果你看一下要点，它比我使用流式库或 multer、busboy 等发现的任何其他东西都要干净...
+1 表示实用主义，感谢@SalehenRahman 的帮助。
【讨论】：