向下滚动页面以获取 JS puppeteer 中的所有元素

Question

我正在使用代码来获取元素，它可以完美运行并满足我的需求。但是，我意识到他没有拾取所有元素，因为他没有在屏幕上加载它们，并且要加载我需要向下滚动。

我搜索但找不到向下滚动以加载其他元素的方法，有人可以帮助我吗？

const puppeteer = require('puppeteer');
const acesso = require('./acesso');

(async () => {
  const browser = await puppeteer.launch({
    headless: false
  });
  const page = await browser.newPage()
  await page.goto('https://www.instagram.com/')
  await page.waitFor('input[name="username"]')
  await page.type('input[name="username"]', acesso.dados.usuario, { delay: 100 })
  await page.type('input[name="password"]', acesso.dados.senha, { delay: 100 })
  await page.keyboard.press('Enter')
  await page.waitForNavigation()
  await page.click('#react-root > section > main > div > div > div > div > button')
  await page.waitFor(10000)
  await page.click('.aOOlW.HoLwm')
  await page.goto('https://www.instagram.com/teamcarrascoo/')
  await page.waitFor(10000)
  await page.click('.RR-M-.h5uC0')
  await page.waitFor(1000)
  await page.click('.Igw0E.rBNOH.eGOV_._4EzTm')
  page.waitFor(2000)
  const hrefs = await page.$$eval('.xLCgt a', links => links.map(link => link.href));
  hrefs.forEach((link, index) =>{
    setTimeout(()=>{
    page.goto(link)
  },index * 10000)
  })
})();

//The problem is in const hrefs = await page.$$eval('.xLCgt a', links => links.map(link => link.href)); I need to get all the elements, but only what was loaded on the screen comes, so I need to scroll it.

Answer 1

这是一个两部分的问题。

1. 如何向下滚动？

使用window.scrollBy(0,window.innerHeight) - 这会触发在 Instagram 上加载下一页（已验证）

1. 你怎么知道你已经走到了尽头？

继续记录最后一个已知的scrollY，如果它没有改变，你已经到了终点。