使用request和cheerio模块延迟请求

Question

所以这是我用来抓取我的页面的代码（我正在使用 request 和 Cheerio 模块：

for (let j = 1; j < nbRequest; j++)
{
  const currentPromise = new Promise((resolve, reject) => {
    request(
      `https://www.url${j}`,
      (error, response, body) => {
        if (error || !response) {
          console.log("Error: " + error);
        }

    console.log("Status code: " + response.statusCode + ", Connected to the page");

    var $ = cheerio.load(body);
    let output = {
      ranks: [],
      names: [],
      numbers: [],
    };

    $('td.rangCell').each(function( index ) {
      if ($(this).text().trim() != "Rang")
      {
        output.ranks.push($(this).text().trim().slice(0, -1));
        nbRanks = nb_ranks+1;
      }

    });

    $('td.nameCell:has(label)').each(function( index ) {
      output.names.push($(this).find('label.nameValue > a').text().trim());
    });

    $('td.numberCell').each(function( index ) {
      if ($(this).text().trim() != "Nombre")
      {
        output.numbers.push($(this).text().trim());
      }
    });

    console.log("HERE 1");
    return resolve(output);
  }
);


 });
    promises.push(currentPromise);
   }

之后，我使用节点模块解析并将结果保存在 csv 文件中。 在这一点上，我已经能够爬取大约 100 页，但是当涉及到更大的数字（1000+）时，我收到了 500 个响应，这意味着我认为我被踢了。 所以我认为最好的解决方案是延迟请求，但我没有找到解决方案。 你们有任何想法以及代码的外观吗？

Answer 1

您要查找的内容称为“控制流”，例如，您可以使用async.queue 来实现。

如果您将每个请求都添加到队列中，您可以通过工作人员的数量来控制并行请求的数量。并且可以在请求回调的最后部分添加 setTimeouts 来实现请求的延迟。

此外，我建议使用“爬虫”包（而不是自己构建），例如npm-crawler 因为他们内置了速率限制，并且已经处理了您接下来可能面临的其他事情:) 例如用户代理池

更新：

const async = require("async");
const delayTime = 1500; //wait 1,5 seconds after every new request

getRequestPromise(csvLine){
 return new Promise( make you request here );
}

const asyncQueue = async.queue(function(task, callback) {
 getRequestPromise(task).then(_ => {
  setTimeout(() => {
   callback(null);
  }, delayTime);
 });
}, 1); //1 one request at a time

for(csv){ //pseudo
 asyncQueue.push(csv[i], () => {});
}

asyncQueue.drain = () => {
 console.log("finished.");
};