使用预加载器抓取网站的问题答案

【问题标题】：Problems scraping a website with a preloader使用预加载器抓取网站的问题
【发布时间】：2020-11-09 21:16:24
【问题描述】：

我正在尝试抓取这个网站

我正在使用 scrapy 来执行此操作，但我所做的任何尝试都只会抓取预加载器页面。我只是使用了错误的工具吗？

【问题讨论】：

【解决方案1】：

无论你最终使用什么工具，它都必须监控 DOM 的变化，并且只有在 DOM 稳定时才开始实际的抓取（内容在任意时间内不再变化）。

一个这样的工具是开源浏览器扩展https://github.com/get-set-fetch/extension。它基于 CSS 选择器进行抓取，并具有“稳定性超时”选项。

来自文档：稳定性超时 - 当在指定时间量（毫秒）内没有更多 DOM 更改时，考虑页面已加载并准备好被抓取。仅适用于 html 资源。对于绕过预加载器内容很有用。

免责声明：我是扩展作者。

【讨论】：