【问题标题】:Jsoup (connect) Java takes a long timeJsoup(connect) Java 耗时较长
【发布时间】:2011-10-05 12:23:24
【问题描述】:

我正在尝试从许多 html 页面中获取几行代码。

我正在使用 Jsoup,它需要超过 2 分钟才能浏览 70 多个 html 页面(90% 的时间用于通过 jsoup.connect 创建新文档)。

这正常吗?使用另一个解析器会有什么不同吗?

Document doc = Jsoup.connect(Url).timeout(10*1000).get();

我可以浏览所有网页。

【问题讨论】:

  • 您是否有详细的统计数据,可能 70 多个页面中只有一个页面很慢或根本不可用? connect 返回的 Connection 还不是文档。你应该提供一些代码?!

标签: java html parsing jsoup


【解决方案1】:

jsoup 通常需要大约 2 秒来建立连接并获取 html 内容

如果 url 被重定向到另一个站点,则可能需要 5 秒。

可能是你抓取的一些页面可能被重定向,设置超时时间为 3 秒,你可能知道出了什么问题..

【讨论】:

    猜你喜欢
    • 2014-11-07
    • 2016-06-07
    • 1970-01-01
    • 1970-01-01
    • 2016-05-21
    • 1970-01-01
    • 1970-01-01
    • 2017-06-21
    • 2016-12-22
    相关资源
    最近更新 更多