【发布时间】:2019-05-22 03:29:29
【问题描述】:
我使用 Jsoup 连接到一个 url 并从该 url 获取 HTML,我想检测 HTML 响应的用户代理。 知道的请教教我!
【问题讨论】:
标签: html jsoup response user-agent detect
我使用 Jsoup 连接到一个 url 并从该 url 获取 HTML,我想检测 HTML 响应的用户代理。 知道的请教教我!
【问题讨论】:
标签: html jsoup response user-agent detect
要了解您连接的网络服务器是否会根据用户代理以不同的 HTML 内容进行响应,除了反复试验之外,我没有看到其他方法。
以下是如何在 JSoup 中设置用户代理:
Response response= Jsoup.connect(location)
.ignoreContentType(true)
.userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36")
.referrer("http://www.google.com")
.timeout(10000)
.followRedirects(true)
.execute();
Document doc = response.parse();
我还对请求添加了一些其他有用的修改,例如设置引荐来源网址、超时等。有关这些方法的详细信息,请查看 Jsoup 文档:https://jsoup.org/apidocs/org/jsoup/Connection.html
如果您想尝试我们不同的用户代理字符串,我会建议您查看野外有哪些内容。可以在这里找到一个集合:http://www.useragentstring.com/pages/useragentstring.php
【讨论】: