Node.js/Express 和并行队列

Question

我们正在构建一个具有 Node.js 服务器和 Express 的基础架构。

在服务器中，发生的情况如下：

1. 服务器接受来自客户端的传入 HTTP 请求。
2. 服务器生成两个文件（这个操作可以“比较长”，也就是0.1秒左右）
3. 服务器将生成的文件（每个约 20-200 KB）上传到外部 CDN
4. 服务器响应客户端，其中包括 CDN 上文件的 URI

目前服务器对每个请求都按顺序执行此操作，并且效果很好（Node/Express 可以自动处理并发请求）。但是，随着我们计划的增长，并发请求的数量可能会越来越高，我们相信对我们来说最好实现一个队列来处理请求。否则，我们可能会面临同时运行的任务过多以及与 CDN 的打开连接过多的风险。快速响应客户无关紧要。

我的想法是在节点服务器中有一个单独的部分，其中包含 一些“工人”（2-3，但我们将进行测试以确定同时操作的正确数量)。 因此，新流程看起来像：

1. 服务器接受客户端的请求后，将操作添加到队列中。
2. 有 2-3 个（待测试）工作人员从队列中取出元素并执行所有操作（生成文件并将其上传到 CDN）。
3. 当worker处理完操作（如果在队列中停留比较久也没关系），通知Node服务器（回调），服务器响应客户端（一直在等待同时）。

您如何看待这种方法？你认为它是正确的吗？

最重要的是，这如何在 Node/Express 中实现？

感谢您的宝贵时间

Answer 1

您可以将 Kue 模块与 Redis（保存作业的数据库）一起使用来支持队列。 您创建工作并将它们放置在使用 kue 模块中，您可以放置​​多少工人来处理它们。 有用的链接： kue - https://github.com/Automattic/kue

Answer 2

（回答我自己的问题）

根据this question on Stack Overflow，我的解决方案是使用Caolan McMahon's async module 实现队列。

主应用程序将创建作业并将它们推送到队列中，该队列对可以运行的并发作业数量有限制。这允许同时处理任务，但对限制进行严格控制。它的工作方式类似于 Mac OSX 上的 Cocoa 的 NSOperationQueue。

Answer 3

tldr; 可以使用原生 Node.js cluster module 处理大量并发请求。

一些序言： Node.js 本身是单线程的。它的Event Loop 使它非常适合同时处理多个请求，即使在其单线程模型中也是如此，这是 IMO 的最佳功能之一。

真正的交易： 那么，我们如何扩展它以处理更多的并发连接并使用所有可用的 CPU？用cluster module。

此模块将完全按照@Qualcuno 所指出的那样工作，这将允许您在主服务器后面创建多个工作器（也称为进程）以分担负载并更有效地使用可用的 CPU。

根据Node.js官方文档：

因为工人都是独立的进程，他们可以被杀死或 根据您的程序的需要重新生成，而不影响其他 工作人员。只要还有一些工人还活着，服务器 将继续接受连接。

必填示例：

var cluster = require('cluster');
var http = require('http');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
  // Fork workers.
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }

  cluster.on('exit', function(worker, code, signal) {
    console.log('worker ' + worker.process.pid + ' died');
  });
} else {
  // Workers can share any TCP connection
  // In this case its a HTTP server
  http.createServer(function(req, res) {
    res.writeHead(200);
    res.end("hello world\n");
  }).listen(8000);
}

希望这是你需要的。

如果您有任何其他问题，请发表评论。

Answer 4

为此，我会使用 Heroku 为 Web/Worker Dynos（服务器）提供的那种结构。 Web 服务器可以接受请求并将信息传递给工作人员，工作人员可以进行信息处理和上传。我会让前端站点在套接字 (socket.io) 上侦听外部 CDN 的 url，当上传完成时，它将从工作人员那里触发。希望这是有道理的。