使用 Javascript 获取最终 HTML 将 Java 呈现为字符串

Question

我想从 HTML 页面获取数据（抓取它）。但它包含 javascript 中的评论。在普通的 java url fetch 中，我只得到没有执行 Javascript 的 HTML（实际的）。我想要执行 Javascript 的最后一页。

示例：- http://www.glamsham.com/movies/reviews/rowdy-rathore-movie-review-cheers-for-rowdy-akki-051207.asp

此页面将 cmets 作为 facebook 插件，以 Javascript 的形式获取。

即使在this上也与this类似。 http://www.imdb.com/title/tt0848228/reviews

我该怎么办？

Answer 1

解决该问题的简单方法。 您好，您可以使用 HtmlUnit 是 java API，我认为它可以帮助您访问执行的 js 内容，作为一个简单的 html。

WebClient webClient = new WebClient();
HtmlPage myPage = (HtmlPage) webClient.getPage(new URL("YourURL"));
System.out.println(myPage.getVisibleText());

Answer 2

你可以使用HTML Unit，一个基于java的“GUI LESS浏览器”。您可以轻松获得任何页面的最终渲染输出，因为这会像 Web 浏览器那样加载页面并返回最终渲染输出。不过，您可以禁用此行为。

更新：你问的是例如？你不必为此做任何额外的事情：

示例：

WebClient webClient = new WebClient();
HtmlPage myPage = ((HtmlPage) webClient.getPage(myUrl));

更新 2：您可以按如下方式获取 iframe：

HtmlPage myFrame = (HtmlPage) myPage.getFrameByName(myIframeName).getEnclosedPage();

请阅读以上链接中的文档。在 HTMLUnit 中获取页面内容没有什么不能做的

Answer 3

使用 phantomjs：http://phantomjs.org

var page = require('webpage').create();
page.open("http://www.glamsham.com/movies/reviews/rowdy-rathore-movie-review-cheers-for-rowdy-akki-051207.asp")
setTimeout(function(){
    // Where you want to save it    
    page.render("screenshoot.png")  
    // You can access its content using jQuery
    var fbcomments = page.evaluate(function(){
        return $(".fb-comments iframe").contents().find(".postContainer") 
    }) 
},10000)

您必须使用 phantom --web-security=no 中的选项来允许跨域交互（即用于 facebook iframe）

要通过 phantomjs 与其他应用程序通信，您可以使用 Web 服务器或发出 POST 请求：https://github.com/ariya/phantomjs/blob/master/examples/post.js