爬虫脚本不想使用 nodejs 在控制台上显示链接答案

【问题标题】：Crawler script does not want to display the links on the console with nodejs爬虫脚本不想使用 nodejs 在控制台上显示链接
【发布时间】：2018-08-18 21:34:02
【问题描述】：

我尝试获取每个汽车版本的所有链接。一切顺利，直到第三个“请求”，当我在控制台中运行它时没有显示任何内容。我不知道为什么。你能帮帮我吗？

var request = require('request');
var fetch=require('node-fetch');
var cheerio = require('cheerio');
var url="http://www.auto-selection.com/fiche-technique/alfa-romeo/";
console.log('starting');

request(url, function(err, resp, html) {
  // Si il n'y a pas d'erreur afficher le code html de l'url
  if (!err){
    var $ = cheerio.load(html);
    var link_model = $(".color3 a");
    $(link_model).each(function (i, link) {
        var link_models = $(this).attr('href');

        // console.log(link_models);
        request(link_models, function(err, resp, html){
          if(!err){
              var $= cheerio.load(html);
              var link_model_year = $(".color3 a");
              $(link_model_year).each(function (index, link) {
                  var links_models_years = $(this).attr('href');
                  // console.log(links_models_years);
                  request(links_models_years, function (err,resp,html) {
                      if(!err){
                          var $= cheerio.load(html);
                          var link_model_version = $(".sorting_1 a");
                          $(link_model_version).each(function () {
                              var links_models_versions = $(this).attr('href');
                              console.log(links_models_versions)
                          });

                      }
                  })

              });

          }
        });

    });
  }
});

【问题讨论】：

标签： javascript jquery node.js cheerio

【解决方案1】：

问题是在加载的页面中没有.sorting_1 类——它是在页面脚本执行后才添加的。但是cheeriodoes not produce a visual rendering, apply CSS, load external resources, or execute JavaScript。

因此您需要使用另一种模式来搜索链接。例如：

var link_model_version = $("#AsFTList a");

【讨论】：