【问题标题】:Puppeteer multiple browsers or pagesPuppeteer 多个浏览器或页面
【发布时间】:2020-12-31 04:44:20
【问题描述】:

我正在尝试使用 puppeteer 抓取大约 50 个页面,而现在我正在一个浏览器中一个接一个地进行,单个页面。为了加快速度,我应该使用更多页面还是更多浏览器?

【问题讨论】:

标签: puppeteer headless-browser


【解决方案1】:

我认为你也不想使用:

  • 使用更多页面并不好,因为您的浏览器会建立历史记录。这可能不是您想要的。
  • 使用更多浏览器并不好,因为创建新浏览器是一项相当昂贵的操作。

我想你想使用Browser Contexts。将浏览器上下文视为隐身窗口 - 您可以快速打开它,但它不会与其他上下文共享历史记录、cookie 等。

【讨论】:

  • 您能否再解释一下您的第一个要点?如果我不登录或其他任何事情,它是否适用于我
  • 如果您没有登录或做任何会创建“状态”的事情,这可能不太相关 - 尽管即使您认为您的活动是无状态的,浏览器仍会创建缓存,接受 cookie等。这可能会导致问题(例如,如果您正在编写测试并意外地创建了对运行测试顺序的依赖项),因此通常浏览器上下文是您想要使用的.
猜你喜欢
  • 2019-12-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-09-01
  • 2014-01-17
  • 1970-01-01
相关资源
最近更新 更多