node-simplecrawler：ajaxed 内容页面抓取问题

Question

我正在使用this script 来抓取一些购物网站。我有一个大问题，让这个脚本和任何其他脚本对我来说毫无价值。

我们计划抓取一个名为 digikala (www.digikala.com) 的购物网站的页面。问题是主要产品网格从 AJAX 调用中加载数据。

例如这个页面：http://www.digikala.com/Search/Category-Mobile-Phone/#!/Brand-10/Category-Electronic-Devices/Category-Mobile/Category-Mobile-Phone/

如果您看到您的 firebug/developer-console，您将看到该类别的产品网格在 AJAX 发布调用后加载。那么如何爬取这个产品页面呢？

在获取页面之前添加一些等待（例如 10 秒）会解决问题吗？

Answer 1

选项1：使用浏览器模拟，像phantomjs一样烂，

选项2：从开发者工具中签出ajax url，直接从url获取数据。小心，可能需要特殊的标头，或某种验证。