无法使用cheerio 抓取异步脚本

Question

我正在使用cheerio 制作爬虫，但在某些网站中，脚本是异步的，当我尝试从中获取所有脚本时，它们不会被选中。 这是我使用的代码：

function Test(webUrl) {
    request(webUrl, function(err, resp, html){
        if(!err && resp.statusCode == 200) {
            var $ = cheerio.load(html);
            console.log($('script'));
        }
    });
}

有人有什么解决办法吗？谢谢

Answer 1

您需要使用 PhantomJS 来抓取动态内容。

这里是示例：http://code4node.com/snippet/web-scraping-with-node-and-phantomjs