【问题标题】:Jsoup returns html different from web browserJsoup 返回与网络浏览器不同的 html
【发布时间】:2012-10-29 12:36:53
【问题描述】:

我有一个url = "http://mp3.zing.vn/tim-kiem/playlist.html?q=Bảo Thy

Document doc = Jsoup.connect(url).get()

当我使用 Jsoup 获取 html 时。它不能正常工作。它返回与我使用浏览器时不同的 html。我该如何解决这个问题。

但是,当我使用不带参数的url时(http://mp3.zing.vn),它可以正常工作。

【问题讨论】:

    标签: jsoup


    【解决方案1】:

    我已经解决了这个问题。

    http://mp3.zing.vn/tim-kiem/playlist.html?q=Bảo thy
    

    参数是越南语单词,在这种情况下,本网站使用 URL 编码。因此,我必须将所有参数编码为 UTF-8 编码。

    keyword = URLEncoder.encode(keyword,"UTF-8");
    

    和编码后的url

    http://mp3.zing.vn/tim-kiem/playlist.html?q=B%E1%BA%A3o%20thy
    

    Jsoup 工作正常。

    谢谢大家。关闭主题。

    【讨论】:

      【解决方案2】:

      您很可能需要提供 cookie、会话或某种注册方法。

      请检查:

      Advice with crawling web site content

      【讨论】:

        【解决方案3】:

        我遇到了同样的问题,我解决了它

        Document doc = Jsoup.connect("YourURL").userAgent("Mozilla").get();
        

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2011-04-27
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2017-03-20
          • 2021-03-09
          • 1970-01-01
          • 2018-12-23
          相关资源
          最近更新 更多