Node.js：如何暂停/恢复 for 循环

Question

我正在运行一个 for 循环来生成所有可能的 IPv4 地址，然后在 maxmind 的 mmdb 文件中查找它们。问题是，虽然 for 循环太快，但 maxmind 查找相对非常慢，因此进程变慢，最终我的系统在大约 400k 次迭代后冻结。如果我正在从某个流中读取数据，我会在读取每 10k 个 IP 地址后暂停该流，并且只有在从 mmdb 文件中查找完所有这些地址后才会恢复。但是我怎样才能对 for 循环进行这样的控制呢？

connectToMaxMindDatabases().then(function (done){
    for(var i=0; i<256; i++){
        for(var j=0; j<256; j++){
            for(var k=0; k<256; k++){
                for(var l=0; l<256; l++){
                    count++;
                    if(count % 1000 == 0){
                        console.log("count", count);
                    }
                    var newIP = getIPV4([i,j,k,l])
                    ispDB.getGeoDataAsync(newIP).then(function (result){
                        if(result){
                            console.log(count, newIP, result);
                            // process.exit();
                        }
                    });
                }
            }
        }
    }       
})


function getIPV4(bytes){
    return bytes.join(".")
}

Answer 1

我不确定，但 process.nextTick 可能会有所帮助 https://nodejs.org/api/process.html#process_process_nexttick_callback_arg

我真的不确定，但可能会使用以下代码：

connectToMaxMindDatabases().then(function (done){
    for(var i=0; i<256; i++){
        process.nextTick(function(){
            for(var j=0; j<256; j++){
                process.nextTick(function(){
                    for(var k=0; k<256; k++){
                        process.nextTick(function(){
                            for(var l=0; l<256; l++){
                                process.nextTick(function(){
                                    count++;
                                    if(count % 1000 == 0){
                                        console.log("count", count);
                                    }
                                    var newIP = getIPV4([i,j,k,l])
                                    ispDB.getGeoDataAsync(newIP).then(function (result){
                                        if(result){
                                            console.log(count, newIP, result);
                                            // process.exit();
                                        }
                                    });
                                }
                            }
                        })
                    }
                }
            }
        }
    }       
})

据我所知，情况如下： 所有的 for 循环都在同步运行，异步 ispDB.getGeoDataAsync(newIP) 调用正在排队，但它的回调（.then 函数）无法执行，因为事件循环被 4 个 for 循环阻塞。

Answer 2

问题的根源肯定在于底层 OS/Node 服务器的资源管理。具有这种迭代次数的 for 循环将在该特定硬件上冻结，而在更强大的计算机上它可能只会稍后冻结或根本不冻结。解决方案是先将所有 IP 地址收集到一个数组中，然后以一次只处理一个段的方式处理它们，等到完成并移动到下一个段。

通过这种细分和 Bluebird 的Promse.each 可以实现一个可能的解决方案。

如果迭代器函数返回一个 promise 或 thenable，那么 等待承诺的结果，然后继续下一步 迭代。

var Promise = require('bluebird'),
    _ = require('lodash'),
    allIPs = [];

connectToMaxMindDatabases().then(function (done){
    for(var i=0; i<256; i++){
        for(var j=0; j<256; j++){
            for(var k=0; k<256; k++){
                for(var l=0; l<256; l++){
                    count++;
                    if(count % 1000 == 0){
                        console.log("count", count);
                    }
                    var newIP = getIPV4([i,j,k,l])
                    allIPs.push(newIP);
                }
            }
        }
    }       
    return allIPs;
})
.then(function(allIPs) {
    // Create an array of arrays of IPs, each inner array with 1000 IPs
    var from = 0, to = 1000, segments = [], promises;

    do {
        segments.push(allIPs.slice(from, to));
        from += 1000; to += 1000;
    } while(to < allIPs.lenght);

    // Process a segment of 1000 IPs and wait before moving the next
    // segment until this segment is fully resolved.
    Promise.each(segments, function(segmentArr) {
        promises = [];
        _.forOwn(segmentArr, function(IP) {
            promises.push(ispDB.getGeoDataAsync(IP)
              .then(function(result) {
                  // save the result
              })
            );
        });
        return Primse.all(promises);
    });
});

当然，如果您的情况下的资源受到限制，allIPs 数组甚至无法生成，因为它在此之前就开始冻结，这不会解决问题，但是资源很可能被所有这些人吃光了getGeoDataAsync 在这种情况下调用应该会有所帮助。