【发布时间】:2016-10-10 03:04:15
【问题描述】:
我已经能够滚动到网页的末尾以加载所有动态内容。但是在这样做之后,我想评估页面以获得一些数据。我的问题是如果我运行的东西不是简单的
casper.echo("something");
我的代码中断了,我没有得到契约数据。这是我的代码:
var casper = require('casper').create();
casper.start("http://mypageWithDynamicContentOnScroll.com");
var linksPrendas = [];
casper.waitForSelector('#idOfDivContainingDynamicContent',function(){
scrollNow();
});
var currentHeight;
var page = 1;
function scrollNow(){
casper.scrollToBottom();
casper.waitForSelector("#page"+page+"Height", function() {
casper.echo('scrolling...');
page++;
scrollNow();
},
function _onTimeout(){
});
}
var data = '';
casper.then(function(){
casper.echo('e');
//data = __utils__.findOne('div#someId').textContent;
casper.echo('f');
//var links = this.evaluate(function() {
// casper.echo("Evaluate ");
// var elements = __utils__.findAll('a');
// return elements. map (function (e) {
// return e.getAttribute('href');
// });
//});
});
casper.run(function(){
// var data = casper.evaluate(function() {
// var elements = __utils__.findAll('a.productListLink');
// return elements.map(function(e) {
// return e.getAttribute('href');
// });
// casper.echo("Evaluate ");
// return [1,2,3];
// });
casper.echo("Then");
casper.echo(elements);
casper.echo("DONE").exit();
});
您可以从我的一些注释代码中看到,我尝试了许多不同的选项,但都没有成功。我还尝试将评估或 findAll 放在 _onTimeout 回调中。我要么破坏代码并且永远不会打印“DONE”,或者我永远无法在评估或其他任何内容中执行代码。
滚动效果很好,没有滚动我可以设法评估页面并获得想要的内容。
那么我怎样才能做到这一点呢?滚动完成后评估页面?
谢谢
编辑: 我还测试了将回调函数传递给 scrollNow() 以在调用 scrollNow() 后继续执行。回调被调用,但同样没有运气评估 findAll 或任何其他函数来获取所需数据。
【问题讨论】:
标签: javascript phantomjs casperjs evaluate