节点 Kue 和子进程 - 从生成的进程中获取错误

Question

我尝试使用 Kue 通过作业队列生成一个执行 cpu 密集型计算的子进程。我目前的代码如下所示：

consumer.js

var kue = require('kue');
var util  = require('util');
var spawn = require('child_process').spawn;

var jobs = kue.createQueue();

jobs.process('calc', 2, function(job, done){
  var work = spawn('Rscript', ['opti2.R', job.data.file]);

  work.stderr.on('data', function (data) {
    job.log('stderr: ' + data);
  });

  work.stdout.on('data', function (data) {
    job.log('stdout: ' + data);
  });

  work.on('exit', function (code, signal) {
    console.log('child process exited with code ' + code + ' with singal ' + signal);
    if(code != 0){
      done(****How to get the stderr of the child process as an error here***);
    } else {
      done(Error());
    }
  });
});

代码在某种程度上做了我想做的事，但是有没有更好的方法来报告作业失败（向 Kue）并从生成的进程中获取标准错误？

Answer 1

您可以使用job.log method直接向Kue发送数据。

我还建议您从.spawn 切换到.exec，因为它在最终回调中返回stdout 和stderr 作为字符串以及一个很好的error，这很适合您的需求：

var exec = require('child_process').exec;

jobs.process('calc', 2, function(job, done){
  exec('Rscript opti2.R ' + job.data.file, function (error, stdout, stderr) {
    if (stdout.length > 0) job.log('stdout: ' + stdout);
    if (stderr.length > 0) job.log('stderr: ' + stderr);
    done(error);
  });
});

虽然解决方案也适用于 .spawn：只需将代码中的每个 console.log 调用替换为 job.log。

不过，您可能希望缓冲您的 stderr 以便将其分成一个块发送给 Kue：

jobs.process('calc', 2, function(job, done){
  var work = spawn('Rscript', ['opti2.R', job.data.file]);
  var stderr = '';

  work.stderr.on('data', function (data) {
    stderr += data;
  });

  work.stdout.on('data', function (data) {
    job.log(data); // sending arriving `stdout` chunks as normal log events
  });

  work.on('close', function (code, signal) {
    console.log('child process exited with code ' + code + ' with singal ' + signal);
    if(code != 0){
      done(stderr); // sending all collected stderr as an explanation
    } else {
      done();
    }
  });
});

我还建议使用close 事件而不是exit，因为它等待孩子的stdio 流。

更多信息见Event: 'exit' docs:

该事件在子进程结束后触发。

请注意，子进程 stdio 流可能仍处于打开状态。

和Event: 'close' docs:

当子进程的 stdio 流有 全部终止。