获取 URL 的 HTTP 错误答案

【问题标题】：HTTP error fetching URL获取 URL 的 HTTP 错误
【发布时间】：2017-06-03 23:04:30
【问题描述】：

我正在尝试使用 Jsoup 解析此网站：http://www.listofnewspapers.com/2014/04/site-map.html，但我收到此错误：

对于“http://www.listofnewspapers.com/2014/04/site-map.html”：获取 URL 时出现 HTTP 错误”

我相信错误发生在connect(URL).get()。

我出于调试目的打印了状态码，得到了200。

我尝试了多个其他网站，它们连接良好。

【问题讨论】：

标签： java jsoup

【解决方案1】：

似乎用户代理被过滤了。尝试设置一个：

Jsoup.connect(URL).userAgent("Mozilla").get()

【讨论】：

【解决方案2】：

使用 Firefox 用户代理：

.userAgent("Mozilla")

例如：

Jsoup.connect("https://stackoverflow.com/questions/44349297/http-error-fetching-url").userAgent("Mozilla").get();

【讨论】：