【问题标题】:Get html rendered by Javascript using PhantomJS使用 PhantomJS 获取 Javascript 渲染的 html
【发布时间】:2014-11-02 14:44:54
【问题描述】:

我正在尝试利用 PhantomJS 来获取由动态页面生成的 html。我以为这很容易,但经过几个小时的尝试,我仍然不走运。

页面本身有这个源代码以及最终保存在 1.html 中的内容:

<!doctype html>
<html lang="cs" ng-app="appId">
<head ng-controller="MainCtrl">
     (ommited some lines)
    <script src="/js/conf/config.js?pars"></script>
    <script src="/js/all.js?pars"></script>
</head>
<body>
<!--<![endif]-->
    <div site-loader></div>
    <div page-layout>
        <div ng-view></div>
    </div>
</body>
</html>

web 的所有内容都加载到 site-loader div 中,但我没有运气得到它,即使我在 PhantomJS 抓取 html 之前使用了超时。这是我正在使用的代码:

var url = 'http:...';
var page = require('webpage').create();
var fs = require('fs');

page.open(url, function (status) {
    if (status !== 'success') {
        console.log('Fail');
        phantom.exit();
    } else {        
        window.setTimeout(function () {
        fs.write('1.html', page.content, 'w');
        phantom.exit();
        }, 2000); // Change timeout as required to allow sufficient time 
    }
});

请问我做错了什么?

编辑: 我决定尝试 PJscrapper 框架并将其配置为废弃 div 块的所有内容。我得到的只是糟糕的:

["","\n\t\tif (window.DOT) {\n\t\t\tDOT.cfg({service: 'sreality', impress: false});\n\t\t}\n\t","","Loader.load()","",""]

似乎我真的没有得到它,并且总是在 Loader.load() 行动之前得到代码。显然,超时并不能解决问题。

【问题讨论】:

  • 您没有显示写入1.html 的内容。请注册onConsoleMessage 和onError 活动。也许有错误。如果绑定是一个问题,您需要一个shim。
  • 嗨,生成的 1.html 中的代码与我在问题 (html) 中输入的代码相同。这与我在浏览器中按 Ctrl+U 时显示的代码相同。但我的理解是,这会以某种方式被 Java Script 操纵。因为当我手动检查页面元素时,我可以在提到的 div 块中看到它们...我会检查 onError 事件,看看会发生什么,谢谢你的帮助。
  • 当我注册 onError 正如你提到的那样,我收到两个缺少变量的错误:错误:ReferenceError:找不到变量。一个变量被命名为 Loader 和另一个 JAK(两者都可以在 JavaScript 生成页面中找到。我做错了什么吗?
  • 还有一些故障排除思路: 1. 使用 SlimerJS 尝试您的脚本。这使用了不同的渲染引擎。如果结果不同,可能是 PhantomJS 1.9 不支持的东西。 2. 也可以page.render 来查看屏幕截图。是枯燥无味,还是看起来像您在自己的浏览器中看到的页面?
  • 感谢您的想法,我会尝试 SlimerJS - 但现在我得到“失败” - 这意味着 page.open(url, function (status) 导致的状态不同于 success。当我截图的时候,它是沉闷的......

标签: javascript html web-scraping phantomjs


【解决方案1】:

这样就可以了

    page.open(url, function (status) {
    if (status !== 'success') {
        console.log('Unable to load the url!');
        phantom.exit();
    } else {
        window.setTimeout(function () {
            var results = page.evaluate(function() {
                return document.documentElement.innerHTML;
            });
            console.log(results)
            phantom.exit();
        }, 200);
    }
});

【讨论】:

    猜你喜欢
    • 2014-03-22
    • 2018-02-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-12-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多