在需要时兑现承诺

Question

我想不断地从网站同步数据，但我只有 300 个电话/15 分钟。因此，我认为我可以将我所有的同步请求（大约 1000 个）放入一个数组中，然后每 15 分钟解决其中的 300 个，直到请求数组为空，然后重新开始。但是，当我执行以下操作时：

  let requests = []
  params = 'invoice-items?invoice_id='
  let positions = null
  for (const invoice of invoices) {
    requests.push(new Promise(async (resolve, reject) => {
      positions = await getBillomatData(params + invoice.id, null, 0, null)
      await updateDatabase(positions, models.billomat.Position)
    }))
  }

  console.log(requests[0])
  await requests[0]
  console.log(requests[0])

只要我在 requests[0] 处等待请求，它就会执行所有请求，并且我会超出调用限制。

Answer 1

所有异步调用都会立即执行，因为 JavaScript 会在处理完每个调用后立即执行所有代码。 await 等待结果，不等待执行。

您需要使用bottleneck 等工具来限制您的请求。

每 15 分钟处理 300 个 1000 个请求将需要一个小时才能完成。这是保持节点作业无所事事运行的很长时间。

一个基本的基本限制器可能会跟踪您想要在外部文件或数据库中发出的所有请求，然后使用 cron 作业每 15 分钟执行一次 JavaScript 代码以处理另外 300 个请求。如果没有其他请求，您的应用程序可能会终止。但是，只要 cron 作业继续运行，它就会每 15 分钟唤醒并运行一次。

Answer 2

最简单的方法（虽然没有优化）是

• 批量调用 300 次
• 执行一批并等待所有问题都解决后再继续下一批

let batch = []
// imagine urls is a array of url of 900 items
urls.map(async (url)=>{
  
  batch.push(somePromiseFuctionToDoTheApiCall(url))
  if(batch.length >= 300){
    await Promise.all(batch)
    // sleep is a promisified settimeout function, ref: https://stackoverflow.com/a/56520579/3359432
    await sleep(calculateTimeToWaitBeforeProceedingToNextBatch)
    batch = []
  }

})
// there might be some leftovers at the end of batch you should process them also

如果您可以使用库并停止重新发明轮子，请查看lodash.chunk、bluebird.map、bluebird.each、bluebird.delay