使用 Jsoup 提取“隐藏”HTML

Question

我正在尝试获取未出现在源文档中但可以公开的 HTML 数据，例如，通过 Google Chrome 中的“检查元素”。

示例页面：http://assignment.uspto.gov/#/search?q=9000000&sort=patAssignorEarliestExDate%20desc%2C%20id%20desc&synonyms=false

行下方有许多包含美国专利号 9,000,000 的分配数据的 div 元素

<script async="async" type="text/javascript" src="https://components.uspto.gov/js/ais/2-2-assignment-search.js"></script>

有没有办法用 Jsoup 提取这个隐藏的 html？

Answer 1

数据似乎使用 AJAX 加载。 JSoup 不处理 Javascript。

您需要的是一个“无头浏览器”API，它处理 Javascript 而不实际呈现任何内容。

HtmlUnit 似乎是最著名的工具，尽管我自己从未使用过它。如前所述，Selenium Webdriver 也是一种选择。

我相信您将不得不加载 URL，等待所有 AJAX 处理，最终您将获得几乎与在 Java 中的 Chrome 中获得的解析树一样的解析树！

Answer 2

如果这是您需要的唯一信息，这里是您寻求的信息的 JSON 网址：

http://prod-proxy-lb-2117675230.us-east-1.elb.amazonaws.com/solr/aotw/search?json.wrf=jQuery1102004354461841285229_1448413727331&q=9000000&facet.date.other=before&rows=20&start=0&wt=json&facet.date.start=NOW%2FYEAR-50YEARS&fl=id%2CreelNo%2CframeNo%2CconveyanceText%2CpatAssigneeName%2CpatAssignorName%2CinventionTitleFirst%2CapplNumFirst%2CpublNumFirst%2CpatNumFirst%2CintlRegNumFirst%2CcorrName%2CcorrAddress1%2CcorrAddress2%2CcorrAddress3%2CpatAssignorEarliestExDate%2CfilingDateFirst%2CpublDateFirst%2CissueDateFirst%2CintlPublDateFirst%2CpatNumSize&hl.fl=reelNo%2CframeNo%2CpatAssigneeName%2CpatAssignorName%2CconveyanceText%2CinventionTitleFirst%2CapplNumFirst%2CpublNumFirst%2CpatNumFirst%2CintlRegNumFirst%2CcorrName%2CcorrAddress1%2CcorrAddress2%2CcorrAddress3&hl.requireFieldMatch=true&sort=patAssignorEarliestExDate+desc%2C+id+desc

这是通过检查 Chrome 开发者工具的“网络”选项卡检索到的，您可以使用 HttpConnection 获取此 url 的内容。可以在here 找到一个示例。获得JSON 文件后，您可以对其进行解析以检索您需要的任何信息。