使用节点 child_process 的标准输出缓冲区问题

Question

我正在尝试使用节点 child_process 执行 curl，以从本地网络中的共享文件夹中获取 JSON 文件（大约 220Ko）。但它实际上返回了一个我无法解决的缓冲区问题。 这是我的代码：

var exec = require('child_process').exec;

var execute = function(command, callback){
    exec(command, function(error, stdout, stderr){ callback(error, stdout); });
};

execute("curl http://" + ip + "/file.json", function(err, json, outerr) {
    if(err) throw err;
    console.log(json);
})

这是我得到的错误：

if(err) throw err;
          ^
Error: stdout maxBuffer exceeded.
    at Socket.<anonymous> (child_process.js:678:13)
    at Socket.EventEmitter.emit (events.js:95:17)
    at Socket.<anonymous> (_stream_readable.js:746:14)
    at Socket.EventEmitter.emit (events.js:92:17)
    at emitReadable_ (_stream_readable.js:408:10)
    at emitReadable (_stream_readable.js:404:5)
    at readableAddChunk (_stream_readable.js:165:9)
    at Socket.Readable.push (_stream_readable.js:127:10)
    at Pipe.onread (net.js:526:21)

Answer 1

在答案中添加一些解释。

exec 命令在将数据发送到父进程之前对其进行缓冲。它通常适用于产生较小输出的命令。出现上述错误是因为执行命令产生的输出大于最大缓冲区大小。解决上述问题的一种方法是按照 Tim Cooper 的回答指定缓冲区大小。

var execute = function(command, callback){
exec(command, {maxBuffer: 1024 * 500}, function(error, stdout, stderr){ 
 callback(error, stdout); });
};

另一种解决方案是使用 spawn 方法，它通常比 exec 更快，并且它在发送前不缓冲数据。它将数据作为流发送，因此永远不会出现缓冲区大小的问题。 Isampaio使用的代码sn-p。

var child = process.spawn('<process>', [<arg1>, <arg2>]);
child.stdout.on('data', function (data) {
 console.log('stdout: ' + data);
});
child.stderr.on('data', function (data) {
 console.log('stderr: ' + data);
});
child.on('close', function (code) {
 console.log('child process exited with code ' + code);
});

Answer 2

我遇到了类似的问题，我修复了它从 exec 到 spawn：

var child = process.spawn('<process>', [<arg1>, <arg2>]);

child.stdout.on('data', function (data) {
  console.log('stdout: ' + data);
});

child.stderr.on('data', function (data) {
  console.log('stderr: ' + data);
});

child.on('close', function (code) {
    console.log('child process exited with code ' + code);
});

Answer 3

在使用child_process.exec 时，您需要使用并设置maxBuffer 选项。来自documentation：

maxBuffer 指定 stdout 或 stderr 上允许的最大数据量 - 如果超过此值，则子进程将被终止。

文档还指出maxBuffer 的默认值为 200KB。

例如，在以下代码中最大缓冲区大小增加到 500KB：

var execute = function(command, callback){
    exec(command, {maxBuffer: 1024 * 500}, function(error, stdout, stderr){ callback(error, stdout); });
};

此外，您可能想了解http.get 以了解它是否能够实现您想要做的事情。