使用 fetch 在节点中进行异步 api 调用的最佳实践？

Question

我正在 nodeJS、express 和 mysql 中构建一个应用程序，在其中我使用 node fetch 从几个不同的 API 收集数据，其中一个限制为每 5 分钟 200 次调用。 为了完全更新我的数据库，我基本上需要不间断地运行对这个 API 的调用， 目前我正试图通过在 for 循环/foreach 中使用睡眠来保持在限制范围内。

问题是每个请求都可能随时间变化，看起来我可以使调用更有效，而不是为每个请求不断休眠相同的时间。我想知道是否有更好的方法来做到这一点？我一直在考虑让例如 199 个调用异步，然后正好等待 5 分钟，然后重复它..但我不知道如何。

找不到关于此的主题，但如果已经有好的答案，请做一个链接。 非常感谢您的回答，如果您有其他反馈，请告诉我！

  for (let i = 1; i < length; i++) {
    try {
      let id = IdCollection[i];
      let resultFromApiCall = await datafetcher.MakeApiCall(id);

      await sleep(2000);

    } catch (error) {
      console.log("Error in api-calls" + error);
    }
  }```

Answer 1

我认为这是一个品味问题。

我会立即发出所有允许的请求，然后等到 5 分钟间隔结束。

  // constants to define the restrictions
  const restrictionCalls = 5;
  const restrictionTime = 300000; // 5 * 60 * 1000

  let throttleTimer = Date.now(); // when did we start this interval?
  let throttleCounter = 0; // how many calls did we make in this interval?

  for (let i = 1; i < length; i++) {
    try {
      let id = IdCollection[i];
      throttleCounter++;
      let resultFromApiCall = await datafetcher.MakeApiCall(id);
    } catch (error) {
      console.log("Error in api-calls" + error);
    }

    if(throttleCounter === restrictionCalls) {
      const timePassed = Date.now() - throttleTimer;
      const waitTime = restrictionTime - timePassed;
      if(waitTime > 0) await sleep(waitTime);

      // reset
      throttleTimer = Date.now();
      throttleCounter = 0;
    }
  }