网站抓取：等待网站完全加载

Question

我需要下载以下网页：http://m.10bet.com/#leage_panel#10096

这是一个体育博彩页面，我需要报价。所以，首先这看起来很简单。但是，会发生以下情况（您可以使用浏览器的开发人员工具进行检查）：

1. 打开网址
2. 页面加载初始 HTML，随后调用 ajax 请求来检索引号
3. 但是，引用包含在 json 中，但它们被混淆了，因此无法直接从 ajax 调用中简单地解析它们。此外，网页的 javascript 也被混淆了。所以没有机会直接阅读请求中的报价。

相反，我需要使用能够评估 javascript 的无头浏览器。用于 java 的 HtmlUnit 是不够的，因为它不提供强大的 javascript 功能。因此 PhantomJS 结合 CasperJS 是我目前的选择。我使用以下脚本应用 CasperJS：

var casper = require('casper').create();

casper.start('http://m.10bet.com/#leage_panel#10096', function() {
    var url = 'http://m.10bet.com/#leage_panel#10096';
    this.download(url, '10bet.html');
});

casper.run(function() {
    this.echo('Done.').exit();
});

但是，此脚本不会加载完整的页面。只是初始页面。如何加载浏览器中显示的完整网页？

Answer 1

该脚本看起来是一个好的开始，但是一旦您的 (HTML) 页面加载， (CasperJS) 脚本就会停止，因为您没有再给它任何指令。解决此问题的最粗略方法是休眠几秒钟，然后抓取页面：

var casper = require('casper').create();
var fs=require('fs');

casper.start('http://m.10bet.com/#leage_panel#10096', function() {
    this.wait(2000, function() {
        fs.write("10bet.html", this.getHTML() );
   });
});

casper.run();

2000 毫秒的超时是粗略的，原因有两个：

1. 如果数据加载速度快于您在浪费时间。
2. 如果加载速度较慢，您的脚本将无法运行。

因此，最好在页面上确定您想要和需要的内容，然后使用 Casper 的 waitForXXX() 函数之一。从这里开始查看 API 文档：http://casperjs.readthedocs.org/en/latest/modules/casper.html#waitfor

另外一点，我猜您实际上并不想要整个 HTML 页面，只想要其中的数据。 getHTML() 接受一个参数来过滤接收到的内容。例如。在您的情况下，getHTML('#league_block') 可能更有用。同样，请参阅 API 文档了解更多想法。