async.retry - 已调用回调

Question

我环顾四周，我很确定回调没有被调用两次。不管怎样，下面是我的代码：

async.eachSeries(saveProps,function(photo,doneMaster){
    var tries = 0;
    async.retry({times: 10, interval: 200}, 
        function(done, results){
            debug('attempt num: ' + (++tries));
            aws.getFile(photo.s3_location,function(err,s){
                if(err){
                    debug('error:' + err);
                    return done(err);
                }else{
                    done(null,s);
                 }
            })
        },
        function(err,imageStream){
            if(err){return doneMaster(err);}
            else{
                debug('appending photo to zip: %s', photo.s3_location);
                zip.append(imageStream, {name: photo.saveName});
                doneMaster();
            }
        }
    );
},function(err){
    if(err){
        reject(err);
    }else{
        zip.finalize();
    }
});

这个问题的一点背景是，我正在尝试以一个接一个的方式迭代一些照片信息，并将数据从 s3 流式传输到一个 zip 文件中。我正在尝试为许多照片（几千张）制作这项工作。由于一个图像返回 ECONNRESET，该过程会出错。每当发生这种情况时，我都想再试一次。我遇到的问题是，每当图像引发 ECONNRESET 并重试时，异步库都会引发回调已被调用的错误。我一直在看这个，我不会调用它两次。

我的问题，done() 怎么会被调用两次？

关于我正在使用的对象/包的一些信息：

• aws 是knox
• 邮编是archiver

堆栈跟踪信息：

app:worker attempt num: 1 +1ms
app:worker error:Error: read ECONNRESET +91ms
/appdir/node_modules/async/dist/async.js:803
            if (fn === null) throw new Error("Callback was already called.");
                             ^

Error: Callback was already called.
    at /appdir/node_modules/async/dist/async.js:803:36
    at /appdir/node_modules/async/dist/async.js:3481:17
    at /appdir/node_modules/async/dist/async.js:307:31
    at /appdir/node_modules/async/dist/async.js:3755:21
    at ClientRequest.<anonymous> (/appdir/modules/zip-worker.js:348:44)
    at emitOne (events.js:77:13)
    at ClientRequest.emit (events.js:169:7)
    at TLSSocket.socketErrorListener (_http_client.js:256:9)
    at emitOne (events.js:77:13)
    at TLSSocket.emit (events.js:169:7)
    at emitErrorNT (net.js:1253:8)
    at nextTickCallbackWith2Args (node.js:442:9)
    at process._tickCallback (node.js:356:17)

在此堆栈跟踪中，/appdir/modules/zip-worker.js:348:44 是 done(null,s); 所在的行。

Answer 1

所以，我发现一旦进程达到一定数量的流，节点就很难处理所有流。因此，每个流都将被标记为已完成，但在附加流之后的某个地方，其中一个连接将重置，导致该回调重新触发并出现错误。所以，我决定不使用getFile，而是使用get 并单独处理每个图像数据。我可以附加图像缓冲区数据，而不是将流附加到 zip。它现在工作得很好。以下是我的代码：

async.eachSeries(saveProps,function(photo,doneMaster){
    var tries = 0;
    async.retry({times: 10, interval: 200}, 
        function(done, results){
            var error;
            var imageData;
            debug('attempt num: ' + (++tries));
            var req = aws.get(photo.s3_location);

            req.on('response',function(res){
                if(res.statusCode !== 200){
                    error = new Error('status code ' + res.statusCode);
                }else{
                    res.on('data', function(chunk){
                        imageData += chunk;
                    });



                    res.on('end',function(){
                        if(error){
                            done(error);
                        }else{
                            done(null, imageData);
                        }
                    });
                }
            });

            req.on('error', function(err){
                error = err;
            });

            req.end();

        },
        function(err,data){
            if(err){return doneMaster(err);}
            else{
                debug('appending photo to zip: %s', photo.s3_location);
                zip.append(data, {name: photo.saveName});
                doneMaster();
            }
        }
    );
},function(err){
    if(err){
        debug('zip finished with error: ' + err);
        reject(err);
    }else{
        debug('zip finalizing');
        zip.finalize();
    }
});