使用 Jsoup 永久检索状态为 500 的 HttpStatusException

Question

我想使用 Jsoup 访问位于网络服务器上的网站的一些数据。每次我尝试通过有效的 URL 进行连接时，我都会检索 HttpStatusException 并出现以下错误：

Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=500, URL=http://sv.thisismydomain.de/path/xyz.jsp（我已更改网址）

这是我的尝试：

System.out.println(Jsoup.connect(urlBase + urlLoginForm).userAgent(userAgent).timeout(10000).get().html());

我确定这是正确的 URL。如果我将它从 StackTrace 复制到浏览器中，该 URL 可以正常工作 - 所以这不是问题。

这是我正在使用的用户代理：

String userAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) " +
                   "Chrome/30.0.1599.101 Safari/537.36";

你有什么想法吗？这让我抓狂！

Answer 1

状态 500 是永久性错误。这意味着服务器遇到了阻止它完成请求的意外情况。除了在服务器中处理它之外，没有其他办法。既然您说 url 运行良好，那么我们可以重新检查某些可能性。这些可能不完全是 505 的原因。

1) 当您说urlBase + urlLoginForm 时，可能会错过\。假设你有urlBase = http://sv.thisismydomain.de/path 和urlLoginForm = xyz.jsp，当你构造它可能是http://sv.thisismydomain.de/pathxyz.jsp 而不是http://sv.thisismydomain.de/path/xyz.jsp 如果urlLoginForm 是一个参数列表，您应该重新检查它是如何构造的。 **理想情况下，这应该返回 404，但由于域部分是正确的，因此它可能会显式失败并返回 505。

2) 您尝试访问的站点可能正在检查请求的来源。所以在这种情况下你可以依赖 Jsoup 的referrer 方法。

Document doc = Jsoup.connect(urlBase + urlLoginForm).referrer(urlBase + urlLoginForm).userAgent(userAgent).timeout(10000).get();

** 理想情况下，这应该返回一个 Forbidden 403 错误或拒绝访问。

3) 确保支持 get 方法。尝试使用帖子。同样，这应该返回一个方法 303，但以防万一.. ;)

4) URL 没有显示任何问题。由于它位于代理后面，您可以在调用 jsoup.connect() 之前尝试设置代理属性。但这同样会导致超时而不是 505。

System.setProperty("http.proxyHost", "<your host ip>");
System.setProperty("http.proxyPort", "<proxy port>");

很抱歉提供所有这些与 505 无关的建议。由于我无法访问您的 URL，因此这是我能建议的最佳选择。 :)