【发布时间】：2017-01-13 03:00:06
【问题描述】：
简介
假设在同一个本地网络上，我们有两个使用 Express 设置的 Node JS 服务器：服务器 A 用于 API，服务器 F 用于表单。
- 服务器 A 是一个 API 服务器，它接收请求并将其保存到 MongoDB 数据库（文件存储为 Buffer，其详细信息存储为其他字段）
- 服务器 F 提供表单，处理表单发布并将表单数据发送到服务器 A。
在接收服务器是 Express API 的两个 NodeJS 服务器之间发送文件的最有效方法是什么？文件大小在哪里很重要？
1。 HTTP方式
如果我发送的文件是 PDF 文件（不超过 50mb），通过 HTTP 将整个内容作为字符串发送是否有效？
算法如下：
- 服务器F使用https://www.npmjs.com/package/multer处理文件请求并保存文件
- 然后服务器 F 读取该文件并通过 https://github.com/request/request 发出 HTTP 请求以及该文件的一些详细信息
- 服务器 A 收到此请求并将文件内容从字符串转换为 Buffer 并在 MongoDB 中保存一条记录以及文件详细信息。
在该算法中，服务器 A（存储到 MongoDB 时）和服务器 F（将其发送到服务器 A 时）都已将文件读入内存，并且两台服务器之间的请求大小大致相同作为文件。 （50Mb 请求可以吗？）
但是，要考虑的一件事是 - 使用这种方法 - 我将在整个过程中使用 ExpressJS 样式的 API，并且它将与应用程序的其余部分保持一致，其中 /list、/details 请求也在路线中定义。我喜欢一致性。
2。 Socket.IO方式
与此算法相比，我探索了https://github.com/nkzawa/socket.io-stream 方式，它打破了服务器 A 上 HTTP API 的一致性（因为 socket.io 事件的处理程序不是在路由中定义的，而是在具有var server = http.createServer(app);)。
服务器 F 在routes/some_route.js 中处理表单数据：
router.post('/', multer({dest: './uploads/'}).single('file'), function (req, res) {
var api_request = {};
api_request.name = req.body.name;
//add other fields to api_request ...
var has_file = req.hasOwnProperty('file');
var io = require('socket.io-client');
var transaction_sent = false;
var socket = io.connect('http://localhost:3000');
socket.on('connect', function () {
console.log("socket connected to 3000");
if (transaction_sent === false) {
var ss = require('socket.io-stream');
var stream = ss.createStream();
ss(socket).emit('transaction new', stream, api_request);
if (has_file) {
var fs = require('fs');
var filename = req.file.destination + req.file.filename;
console.log('sending with file: ', filename);
fs.createReadStream(filename).pipe(stream);
}
if (!has_file) {
console.log('sending without file.');
}
transaction_sent = true;
//get the response via socket
socket.on('transaction new sent', function (data) {
console.log('response from 3000:', data);
//there might be a better way to close socket. But this works.
socket.close();
console.log('Closed socket to 3000');
});
}
});
});
我说过我会处理小于 50Mb 的 PDF 文件。但是，如果我以后使用这个程序来发送更大的文件，socket.io 是否是处理 1GB 文件的更好方法，因为它使用的是流？
这个方法确实发送文件和详细信息，但我是这个库的新手，不知道它是否应该用于此目的，或者是否有更好的利用它的方法。
最后的想法
我应该探索哪些替代方法？
- 我是否应该通过 SCP 发送文件并发出带有文件详细信息的 HTTP 请求，包括我发送它的位置 - 从而分离文件和 API 请求的协议？
- 我是否应该始终使用流，因为它们不会将整个文件存储到内存中？ （这就是他们的工作方式，对吧？）
- 这个https://github.com/liamks/Delivery.js?
参考资料：
- File/Data transfer between two node.js servers 这让我尝试了套接字流方式。
- transfer files between two node.js servers over http 用于 HTTP 方式
【问题讨论】：
-
您不能将服务器 F 提供的表单中的数据直接发送到服务器 A 吗？
-
@Molda 我已经实际测试过了。我将表单操作设置为服务器 A 的 API 端点，并且能够使用 multer 保存文件。帖子完成后，我可能会重定向回服务器 F。但是，通过 HTTP 发布是最有效的方式吗？另外，是否可以将文件直接写入 MongoDB（无需等待所有文件放入内存）？
-
通过 http 发布无疑是将文件上传到服务器的标准方式。我不明白你会在任何地方重定向。我的意思是，当您在带有表单的页面上时，您可以使用 JavaScript 将文件上传到服务器 A，而无需重定向到任何地方。是的，您可以使用流将文件直接发送到使用 gridfs-stream 的 mongodb 中，您甚至不需要将其转换为缓冲区。
-
在套接字之上编写文件传输协议是在重新发明轮子。
标签： node.js express file-transfer