在模板引擎中呈现页面后获取页面的来源？答案

【问题标题】：Getting source of a page after it's rendered in a templating engine?在模板引擎中呈现页面后获取页面的来源？
【发布时间】：2014-07-29 08:31:40
【问题描述】：

所以我在一个 JS 很重的网站上做一些屏幕抓取。它使用呈现所有内容的客户端模板引擎。我尝试使用 jQuery 并在控制台中工作，但显然不在服务器（Nodejs）上。

我查看了一些 Python 和 Java 库，它们似乎能够处理我想要的，但我更喜欢与 Node 服务器一起使用的 JS 解决方案。

有没有什么方法可以在页面渲染后使用 Node 获取完整的源代码？

【问题讨论】：

标签： javascript jquery python node.js screen-scraping

【解决方案1】：

我个人喜欢 PhantomJS 或 Selenium，它们正是这样做的。

文档/示例应该开箱即用。

【讨论】：

【解决方案2】：

我使用jsdom 进行屏幕报废，代码放在这里...

var jsdom = require( 'jsdom' );
jsdom.env( {
url: <give_url_of_page_u_want_to_scarpe>,
scripts: [ "http://code.jquery.com/jquery.js" ],
done: function( error, window ) {
  var $ = window.$;

  // required page is loaded in $....
  //you can write any javascript or jquery code get what ever you want

}
} );

【讨论】：

【解决方案3】：

如果您想使用 nodejs 模块，那么您可能对此感兴趣：

https://github.com/sgentle/phantomjs-node

或者这个：

https://github.com/alexscheelmeyer/node-phantom

【讨论】：