如何用java获取网页的源代码？（如何处理延迟加载？）答案

【问题标题】：How to get the web page's source code with java?(How to deal with delay loading?)如何用java获取网页的源代码？（如何处理延迟加载？）
【发布时间】：2012-11-08 08:55:22
【问题描述】：

我想获取整个（整个）网页的源代码，但是网站的某些内容一开始没有加载。（似乎这与Ajax有关）如何获取这些不是用java一次加载的内容？

我尝试使用java's url.openStrem。但这没有用。加载后我只得到内容“loading...”而不是真正的内容。

非常感谢。

【问题讨论】：

标签： java ajax webpage scribe

【解决方案1】：

您需要远程控制现有浏览器（使用 Java 并不容易，因为大多数使用其他语言/组件系统/接口）或使用可以执行 Javascript 的无头浏览器。 HTMLUnit 属于后一类。

【讨论】：

非常感谢。我已经使用 htmlunit 解决了这个问题。

【解决方案2】：

尝试使用 html 解析器来处理此类事情。 Jericho Htmlparser 在这里会很有帮助。

【讨论】：

非常感谢大家。你真好。这个解析器看起来很酷。但似乎分析了html文件，但是我遇到的问题是我无法获取整个（整个）html文件。