【发布时间】:2014-11-02 14:44:54
【问题描述】:
我正在尝试利用 PhantomJS 来获取由动态页面生成的 html。我以为这很容易,但经过几个小时的尝试,我仍然不走运。
页面本身有这个源代码以及最终保存在 1.html 中的内容:
<!doctype html>
<html lang="cs" ng-app="appId">
<head ng-controller="MainCtrl">
(ommited some lines)
<script src="/js/conf/config.js?pars"></script>
<script src="/js/all.js?pars"></script>
</head>
<body>
<!--<![endif]-->
<div site-loader></div>
<div page-layout>
<div ng-view></div>
</div>
</body>
</html>
web 的所有内容都加载到 site-loader div 中,但我没有运气得到它,即使我在 PhantomJS 抓取 html 之前使用了超时。这是我正在使用的代码:
var url = 'http:...';
var page = require('webpage').create();
var fs = require('fs');
page.open(url, function (status) {
if (status !== 'success') {
console.log('Fail');
phantom.exit();
} else {
window.setTimeout(function () {
fs.write('1.html', page.content, 'w');
phantom.exit();
}, 2000); // Change timeout as required to allow sufficient time
}
});
请问我做错了什么?
编辑: 我决定尝试 PJscrapper 框架并将其配置为废弃 div 块的所有内容。我得到的只是糟糕的:
["","\n\t\tif (window.DOT) {\n\t\t\tDOT.cfg({service: 'sreality', impress: false});\n\t\t}\n\t","","Loader.load()","",""]
似乎我真的没有得到它,并且总是在 Loader.load() 行动之前得到代码。显然,超时并不能解决问题。
【问题讨论】:
-
您没有显示写入
1.html的内容。请注册onConsoleMessage和onError活动。也许有错误。如果绑定是一个问题,您需要一个shim。 -
嗨,生成的 1.html 中的代码与我在问题 (html) 中输入的代码相同。这与我在浏览器中按 Ctrl+U 时显示的代码相同。但我的理解是,这会以某种方式被 Java Script 操纵。因为当我手动检查页面元素时,我可以在提到的 div 块中看到它们...我会检查 onError 事件,看看会发生什么,谢谢你的帮助。
-
当我注册 onError 正如你提到的那样,我收到两个缺少变量的错误:错误:ReferenceError:找不到变量。一个变量被命名为 Loader 和另一个 JAK(两者都可以在 JavaScript 生成页面中找到。我做错了什么吗?
-
还有一些故障排除思路: 1. 使用 SlimerJS 尝试您的脚本。这使用了不同的渲染引擎。如果结果不同,可能是 PhantomJS 1.9 不支持的东西。 2. 也可以
page.render来查看屏幕截图。是枯燥无味,还是看起来像您在自己的浏览器中看到的页面? -
感谢您的想法,我会尝试 SlimerJS - 但现在我得到“失败” - 这意味着
page.open(url, function (status)导致的状态不同于success。当我截图的时候,它是沉闷的......
标签: javascript html web-scraping phantomjs