爬取url\如何在node.js中获取动态链接

Question

我正在使用 js-crawler 抓取网站，现在遇到了 CNN，its landing page links are inside 的那部分（由于某种原因动态生成的网址）。 事情是爬虫并没有真正触及脚本 - 我应该如何解决它？除了我的 node.js 爬虫，我还应该编写自己的代码吗？是否有知道如何处理这种动态行为的高级爬虫？

Answer 1

将我的评论变成答案：

抓取由客户端 Javascript 生成的内容是一个复杂的问题，甚至 Google 都没有完全解决。

真正做到这一点的唯一方法是使用某种无头浏览器，该浏览器在服务器上被安全地沙盒化，页面被加载到类似浏览器的环境中，在该环境中它可以运行自己的脚本并生成自己的内容然后您可以检查生成的 DOM。

即便如此，它也不一定会生成需要用户交互的内容（例如单击选项卡以显示某些内容）。