Cheerio Web Scrape 如何在网络刮刀内进行网络刮擦

Question

我有一个特定页面，我从其中抓取了一些数据，但要收集更多信息，我需要点击另一个 href 链接来收集该特定项目的更多数据，我不知道如何。

这是我目前所拥有的：

       router.get("/:id",function(req,res){
       var url = "www.someurl.com"

       request(url, function (error, response, html){
       if (!error && response.statusCode == 200){
        $ = cheerio.load(html);

       $('div.ProductDetails').each(function(){// function for details
          var self = this;
          var a = $(this).children().children();
          details = a.attr('href');

          details = {
          details:details
      };

这为我提供了包含实际详细信息的详细信息部分的链接。我只需要知道如何在一个scrape里面做一个scrape。

Answer 1

和第一次一样，details.details 是 <a> 标签中的 url。

所以你需要向那个 url 发出请求

request(details.details, function(err, res, html) { /* code */ })

然后使用cheerio提取数据。