网页抓取，我无法选择我想要的标签

Question

我试图做一些网络抓取，但我发现了一个问题，我有这个 JS 脚本：

const request = require('request');
const cheerio = require('cheerio');
const url = 'https://www.sisal.it/scommesse-matchpoint?filtro=0&schede=man:1:21' // this is an 
italian betting site

request( url, (error, response, html) => {
   if (!error && response.statusCode == 200) {
      const $ = cheerio.load(html);

      let squadre = $("div"); 
      console.log(squadre.text())
   }
})

这将返回一个非常长的字符串，其中包含所有网站的 div 文本，但在此字符串中没有我想要的文本。我做了这个脚本是因为做了之后：

const $("div.*class*")

即使选择器是正确的，它也没有返回任何东西，你对我为什么不能选择我想要的 div 有任何想法吗？

Answer 1

这个页面是动态创建的，也就是说，如果你用cheerio发出请求，你会得到SPA的样板代码，以及你以后需要上传的数据。
要抓取此类网站，您需要比 Cheerio 更先进的东西。
易于使用的选项 - puppeteer
代码看起来像这样：

(async() => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  // Use here waitUntil to wait until additional requests would be made and the page would be fully loaded.
  await page.goto('https://www.sisal.it/scommesse-matchpoint?filtro=0&schede=man:1:21', {waitUntil: 'networkidle2'});

  const data = await page.evaluate(() => {
     // Make here all your JS actions and return JSON.stringify data.
     // You can access DOM with document.querySelector
     // and other JS methods for DOM manipulation
     return JSON.stringify({})
  });

  await browser.close()
})()

只需使用 puppeteer API 并找出处理此任务的方法。