【发布时间】:2020-06-16 03:54:07
【问题描述】:
当我尝试在网站上执行 CTRL+U 时,它也比我从 jsoup 得到的更多。正在使用的站点是 Open SAP -> https://open.sap.com/courses 已尝试超时和 maxbodysize 以及 jsoup.connect。 现在我的代码如下所示:
private static String getHtml(String location) throws IOException {
URL url = new URL(location);
URLConnection conn = url.openConnection();
BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream()));
String input;
StringBuilder builder = new StringBuilder();
while((input = in.readLine()) != null)
{
builder.append(input);
}
return builder.toString();
}
document = Jsoup.parse(getHtml(URL));
但仍然返回相同的 HTML。通过硒它是可能的,但它有点慢所以任何其他方式来实现这一点? 因为目标是找出课程的链接,然后加载它们以找到他们的课程摘要,使用 selenium 会太慢。
请建议在这里可以做什么。
【问题讨论】:
-
您不必下载 HTML。 Jsoup 可以为您做到这一点,只需使用:
Jsoup.connect(URL).get();而不是Jsoup.parse(getHtml(URL)); -
感谢您的回复,但我在问题中提到我也尝试过使用 jsoup.connect 但它没有用。
标签: selenium web-scraping jsoup htmlunit