你能抓取一个 Angular JS 网站吗[关闭]

Question

这被标记为离题，但留在 Stack Overflow 上以防其他人有同样的问题。

这可能超出范围，但我很想知道您是否可以抓取 Angular JS 网站？

如果你能指出一些好的资源吗？我做了一些研发，但是除了 Phantom JS 找不到任何有用的资源

Answer 1

这个问题最简单的答案是肯定的，这是可能的，但不使用传统的机器人，它们只查看它们在 HTTP 响应正文中获得的原始文本内容，并没有真正解释典型浏览器运行的内容JavaScript 会看到。谷歌做到了（截至 2014 年 5 月）： http://googlewebmastercentral.blogspot.com/2014/05/understanding-web-pages-better.html

如果您有一个解析 javascript 并允许正常的 http xhr 请求发出并获取填充 SPA 的实际数据的机器人，您可以抓取一个 Angular 站点。