Puppeteer 无法转到网页获取选择器

Question

问题已通过从实际浏览器添加 cookie 得到解决。

我正在尝试从这个网站https://shop.coles.com.au/a/richmond-south/specials/search/half-price-specials 获得半价产品。该网站由 AngularJS 渲染，所以我尝试使用 puppeteer 进行数据抓取。

• headless 是假的，只是显示一个空白页面
• headless 是真的，它作为图像抛出异常Error while running with headless browser

const puppeteer = require('puppeteer');
async function getProductNames(){
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();
    await page.setViewport({ width: 1000, height: 926 });
    await page.goto("https://shop.coles.com.au/a/richmond-south/specials/search/half-price-specials");
    await page.waitForSelector('.product-name')

    console.log("Begin to evaluate JS")
    var productNames = await page.evaluate(() => {
      var div = document.querySelectorAll('.product-name');
      console.log(div)
      var productnames = []
      // leave it blank for now
      return productnames
    })

    console.log(productNames)
    browser.close()
}

getProductNames();

P/S：在研究这个问题时，我发现网页实际上是 console.log 取出每个页面的数据，但我无法跟踪请求。如果你能告诉我它有多棒。

The web page console log data

Answer 1

尝试在 page.to('url'[,options]) 方法中添加 options 参数

page.goto("https://shop.coles.com.au/a/richmond-south/specials/search/half-price-specials", { waitUntil: 'networkidle2' })

只有在至少 500 毫秒内没有超过 2 个网络连接时才会认为导航完成。

您可以在此处参考有关选项对象参数的文档：Goto Options parameter