在循环中将同时的异步请求排队

Question

我有一个非常大的 url 列表，我需要使用这些 url 调用多个外部 REST API 端点来获取其余数据。然后将这些数据插入到数据库中。

以下是从 REST API 获取数据并将结果存储到数据库中的代码 sn-p：

// Opening storage model
await storageModel.open();

// Iterate through all the links
for (let idx = 0; idx < links.length; idx++)
{
    console.log("Checking link %j of %j", idx+1, links.length);
    link = links[idx];

    // Getting link data (slow)
    try {
        let data = await checkLinkAndGetData(linkGetter, link);
        await storageModel.insert(data);
    }
    catch (error) {
        // Processing some errors
        ...
    }
}

await storageModel.close();

这段代码的性能很差，因为它会等待 Promises 解决，然后再进行下一个链接。我想要的是“排队”5-10 个异步调用（不等待它们），并且只有在一些“排队”的 Promise 得到解决时才使循环继续到下一个链接。

附：我使用的是原生 Promises，而不是 Bluebird。

Answer 1

一种选择是一次创建 5-10 个承诺，将它们存储在一个数组中，然后 awaiting Promise.all(promises)。例如：

// Opening storage model
await storageModel.open();

// Iterate through all the links
for (let block = 0; block < links.length; block += 10)
{
    const promises = [];

    // Collect promises in blocks of 10.
    for (let idx = block; idx < links.length && idx < block + 10; idx++)
    {
        console.log("Checking link %j of %j", idx+1, links.length);
        link = links[idx];

        promises.push(checkLinkAndGetData(linkGetter, link));
    }

    try {
        // Wait for all 10 promises to finish (in any order).
        let data = await Promise.all(promises);

        // Still await each insert so that the ordering is maintained.
        for (let idx = 0; idx < data.length; idx++)
        {
            await storageModel.insert(data);
        }
    }
    catch (error) {
        // Processing some errors
        ...
    }
}

await storageModel.close();