无法使用 Jsoup 连接到以 .tv 结尾的网址

Question

我尝试解析以 .tv 和 .mobi 扩展名结尾的网页，但每次尝试时都会遇到相同的错误。 Jsoup 可以轻松解析以.com、.org、.in 等结尾的网站，但不能解析.tv 或.mobi。

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
import org.jsoup.nodes.Element;


public class sample {

  public static void main(String[] args) throws IOException{

    Document doc =Jsoup.connect("http://www.xmovies8.tv").get();
    String title = doc.title();
    System.out.println(title);

  }

}

堆栈跟踪：

Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL=http://www.xmovies8.tv
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:598)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:548)
    at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:235)
    at org.jsoup.helper.HttpConnection.get(HttpConnection.java:224)
    at eric.sample.main(sample.java:30)
    /home/azeem/.cache/netbeans/8.1/executor-snippets/run.xml:53: Java returned: 1
    BUILD FAILED (total time: 3 seconds)

而且解析失败：

• http://www.xmovies8.tv
• www.fztvseries.mobi

在 Jsoup 中是否有任何解决方案，以便我可以连接到以 .mobi、.tv、.xyz 等结尾的不同网站？

Answer 1

您的问题与您尝试抓取的域的 TLD 无关，实际上，与名称无关，甚至与 Jsoup 无关。

如果您阅读堆栈跟踪，您会看到您收到以下响应代码：

HTTP 403 Forbidden，根据HTTP Specification，表示你的请求被web服务器看到了，故意拒绝了。

现在，这可能有多种原因，这都取决于您要抓取的网站。

可能是该网站看到您正在尝试抓取，并且他们已明确采取措施防止被抓取

也可能是该页面需要您没有的权限，或者您需要登录。

我还注意到特定域使用CloudFlare，因此可能是 CloudFlare 在您的请求到达网站本身之前就拦截了它。

我会确保抓取它们不违反网站的政策，如果不是，请尝试将您的抓取工具的 User-Agent 标头更改为普通浏览器用户代理而不是 java，看看它是否有效。