如何从不完整的网页（仅限 HTML）在线获取 HTML 表格内容？

Question

问题：如何通过Java获取HTML格式的表格内容？
要求：必须是在线页面，而不是本地文件。

我想提取第一个主题的网址：

https://discussions.apple.com/community/ipad/using_ipad?view=discussions#/?page=3

我尝试使用以下代码在第 3 页获取第一个主题

String url_page3 = "https://discussions.apple.com/community/ipad/using_ipad?view=discussions#/?page=3";
String key = "td.jive-table-cell-subject > a[href]";
Document doc = Jsoup.connect(url_page3).maxBodySize(0).timeout(0).get();
Element e = doc.select(key).first();
System.out.println(e.attr("abs:href");

它返回第 1 页上的第一个主题（即使我将连接的 url 更改为第 4 页，第 5 页，...）

但是为什么会这样呢？有没有其他方法可以尝试？

Answer 1

原因很简单。散列标签对服务器无关紧要，因此它只发送第一页。我猜其他页面是由 AJAX 发送的，因此您需要检查网络流量以找到该 url。比您还可以阅读下一页。