【问题标题】:delay in a for loop for http requesthttp请求的for循环延迟
【发布时间】:2017-03-10 11:34:10
【问题描述】:

我刚刚开始使用 JS 和 Node.js。我正在尝试构建一个简单的爬虫作为第一个项目,使用 Node.js 和一些模块,例如 request 和 cheerio。 我想在数组中包含的每个域的每个 http 请求之间添加 5 秒的延迟。你能解释一下怎么做吗?

这是我的代码:

var request = require('request');

var arr = [ "http://allrecipes.com/", "http://www.gossip.fr/" ];

for(var i=0; i < arr.length; i++) {
    request(arr[i], function (error, response, body){
        console.log('error:', error);
        console.log('statusCode:', response && response.statusCode);
        console.log('body:', body);
    });
}

【问题讨论】:

    标签: node.js loops url scraper


    【解决方案1】:

    任何寻找华丽的 ES6+ Promises 和 Async/Await 答案的人都可以使用它。

    我们在这里使用request-native-promises。

    const rp = require("request-promise-native");
    const productID = [0,1,2,3,4,5,6]
    
    //here we make our timeout synchronous using Promises
    function sleep(ms) {
      return new Promise(resolve => setTimeout(resolve, ms));
    }
    
    //run your code in an async block
    async function demo() {
      for (let i = 0; i < productID.length; i++) {
        const options = {
          method: "GET",
          url: `https://link_to_your_api/productID[i]`,
          json: true,
        };
        const body = await rp(options);
        console.log(`Awaiting 1s ...`);
        //waiting before sleep function executes using it synchronously
        await sleep(1000);
      }
    }
    demo();
    
    //since I haven't done any error handling
    process.on("unhandledRejection", err => {
      console.log("Unhandled rejection:", err.message);
    });
    

    【讨论】:

      【解决方案2】:

      使用setTimeout:

      var request = require('request');
      var arr = ["http://allrecipes.com/", "http://www.gossip.fr/" ];
      
      for (var i = 0; i < arr.length; i++) {
          setTimeout(request, 5000 * i, arr[i], function (error, response, body){
              console.log('error:', error);
              console.log('statusCode:', response && response.statusCode);
              console.log('body:', body);
          });
      }
      

      您基本上创建了循环并说应该以等于5000 * i 的延迟调用request 方法,即5000 毫秒乘以i,因此每次循环迭代它会增加5 秒。 然后,您提供将传递给函数的所有参数。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2017-08-12
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多