如何爬取有前端js框架的网站

Question

我们目前正在尝试 swiftype，并希望了解如何爬取我们具有 javascript 框架的网站，因为存在异步调用。

我创建了一个引擎并能够基于我的站点地图运行爬网，但它不是读取实际内容，而是读取我的 Angular js 代码。

例如：

如果有类似的角码 <div ng-class='grey title'> {{ctrl.title}}</div>

如果此数据在页面加载时绑定，而不是读取标题，它将实际代码读取为{{ctrl.title}} 所以当我搜索时，页面返回类似 “这篇文章是关于 {{ctrl.title}} 的。我们带你了解......”

关于如何使其与 js 框架兼容的任何想法？

Answer 1

您可以通过 Playwright.dev 使用“无头”浏览器。 “无头”意味着它没有 GUI。因为它实际上是一个浏览器，它会正确地解释页面。它可以从运行服务器端的 JavaScript 启动。查看 Web Scraping : Handling AJAX website part I 和 GitHub 上的代码：introWebScraping。