Node.js 集群尽可能频繁地处理数据

Question

请耐心等待，因为我对集群完全陌生，文档并没有点击我。

if (cluster.isMaster)
{
  for (let i = 0; i < numCPUs; i++)
  {
    cluster.fork();
  }

  for (const file in files)
  {
    cluster.workers.send(file); //***
  }
}
else if (cluster.isWorker) 
{
  process.on("message", (msg) => 
  {
    //...Process data here...
  });
}

*** 是我想要的那种东西。像 cluster.workers.send(...) 这样的东西会向工作人员发送消息，不忙的人会收到消息。如果所有工作人员都忙，则消息将等待发送，直到有空闲工作人员。

Answer 1

如果你有大量的任务，你需要一个数据库来管理队列，正如Vinay Pandya 所建议的那样，redis 将是一个不错的选择。

你想防止额外的依赖，你可以在集群主进程中使用一个队列数组，并将任务推入/移出该数组。要确定空闲节点，您可以维护一个“节点”对象，并在完成其任务以更新它时从每个节点获得反馈。可以通过process.send 进行反馈。