如何使用 Puppeteer 在 SPA 中检索新页面内容？

Question

我正在尝试抓取的页面加载了初始内容主体，然后是页面底部的“加载更多”按钮。单击“加载更多”按钮时，该按钮将从页面中删除，页面会在页面下方加载其他内容（保留初始加载的内容），并且新的“加载更多”按钮放置在底部页。当点击“加载更多”按钮时，页面的 URL不会改变。 IE。它的行为类似于单页应用程序 (SPA)。

使用 Puppeteer 我可以导航到页面：

let page = await browser.newPage();
  await page.goto('https://www.someURL.com/home', {
    waitUntil: 'domcontentloaded',
  });

然后我使用page.$$eval() 找到“加载更多”按钮并单击它。该页面加载附加内容以及底部的新“加载更多”按钮。但是，我找不到使用 Puppeteer 来“刷新”我的 page 变量的方法，以便我可以再次调用 page.eval$$() 以找到新的“加载更多”按钮。调用page.reload() 会将页面恢复到我调用page.goto() 时的状态。

我搜索了 Puppeteer 文档并查看了数十个示例，但找不到执行此操作的方法。鉴于 SPA 的盛行，我必须忽略一些显而易见的事情。

这可能吗？

编辑：使用@vsemozhetbyt 建议的附加代码：

 let theButton = await page.$('button.sc-fzoiQi');
  do {
    await page.evaluate(theButton => {
      theButton.click();
    }, theButton);
  } while ((await buttonExists(page)) !== null);
};
async function buttonExists(page) {
  return await page.$('button.sc-fzoiQi');
}

使用上面的方法，第一次点击按钮，但是while 表达式永远不会被评估。 IE。其中的语句 - return await page.$('button.sc-fzoiQi') 永远不会返回。

Answer 1

你可以试试这样的

do {
  // Get the button, click, wait for the data, get the data.
} while (await page.$(buttonSelector) !== null);