在 Java 中检索网页的 DOM 视图，而不仅仅是 Source答案

【问题标题】：Retrieving the DOM view of a webpage in Java not just Source在 Java 中检索网页的 DOM 视图，而不仅仅是 Source
【发布时间】：2012-02-19 04:22:12
【问题描述】：

与查看源代码相比，是否可以获得页面的 Dom 视图，例如单击检查元素时在 chrome 中看到的内容。我需要通过java来访问这个，目前我可以得到源代码。

谢谢大家。

【问题讨论】：

标签： java html dom

【解决方案1】：

恕我直言，您也必须关注链接...所以一旦您有了源代码，您就需要对其进行解析。然后，您可以在原始 DOM 中插入链接的内容（如 CSS 或脚本）。

【讨论】：

【解决方案2】：

HTML 可能很混乱。过去我使用TagSoup 解析HTML 并以SAX 事件流的形式生成XML，然后使用JDOM 构建XML 的内存中类似DOM 的树版本，效果很好.然后，您可以使用 Saxon 等其他库来针对该 XML 树执行 xpath、xslt 或 xquery。

【讨论】：

它实际上是从 Hypem 站点中提取一些 URL，但是它从插件中重新生成 dom，所以我需要获取新树。似乎获得它的唯一方法是直接从 chrome 获得。
我会检查该 URL 是来自初始页面加载还是来自某些 AJAX 调用。当您单击“检查元素”时，您可以使用开发人员工具中出现的网络选项卡来查看 AJAX 请求和返回的 HTML/JSON/任何响应。您也许可以发出一个模仿 AJAX 请求的小型 HTTP 请求，以直接从站点获取信息，而无需使用浏览器。