【发布时间】：2021-02-02 19:14:05
【问题描述】：
我正在尝试抓取网站，因为分页有 1000 个列表，如何在分页 URL 的帮助下使用 node.js 获取所有数据
【问题讨论】：
标签： node.js
【发布时间】：2021-02-02 19:14:05
【问题描述】：
也许有一个模块可以做到这一点，但我不知道。 您可以找到分页链接并制作您使用的抓取模块来抓取下一页。 如果分页可以通过 URL 访问并且易于描述（domain.page/2，domain.page/3，...），则要容易得多。 如果只有点击后才能访问下一页，并且 URL 没有变化，那么您可以使用 phantom.js 或 casper.js 等库，这些库通常用于测试。
【讨论】：