网页抓取 JS 驱动的网站，无需渲染

Question

我最近一直在抓取一些 JS 驱动的页面。据我所知，有两种加载内容的方法：静态（准备好使用 HTML 页面）和动态（从原始数据就地生成 HTML 代码）。我知道XHR，我已经成功拦截了一些。

但现在我遇到了奇怪的事情 - 网站在页面完全加载后动态加载内容，但没有 XHR。怎么可能？

我的猜测是：内部 js 文件正在发出一些隐藏请求（传输数据）并根据响应构建页面。 我该怎么办？

附：我对基于硒的解决方案不感兴趣——它们是众所周知的，但速度慢且效率低。 附言我主要是后端开发人员，所以我对JS不熟悉。

Answer 1

如今，您不再需要使用 selenium 进行报废。 Chrome 浏览器现在可以在无头模式下使用，您可以在页面完全加载后运行抓取脚本。 有简单的指南：

https://developers.google.com/web/updates/2017/04/headless-chrome

有用于驱动它的nodejs库（chrome-remote-interface），但缺点是我找不到python之一。