如何使用 Jsoup 从网站获取最后 5 篇文章

Question

我目前正在为一家公司开发 Java 桌面应用程序，他们要求我从网页中提取最后 5 篇文章并将它们显示在应用程序中。为此，我当然需要一个 html 解析器，并且我直接想到了 JSoup。但我的问题是我该怎么做呢？我从这个问题中找到了一个简单的例子：Example: How to “scan” a website (or page) for info, and bring it into my program?

使用此代码：

package com.stackoverflow.q2835505;

import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Test {

    public static void main(String[] args) throws Exception {
        String url = "https://stackoverflow.com/questions/2835505";
        Document document = Jsoup.connect(url).get();

        String question = document.select("#question .post-text").text();
        System.out.println("Question: " + question);

        Elements answerers = document.select("#answers .user-details a");
        for (Element answerer : answerers) {
            System.out.println("Answerer: " + answerer.text());
        }
    }

}

这段代码是由 BalusC 编写的，我理解它，但是当链接不固定时我该怎么做，例如大多数报纸的情况。为了简单起见，我将如何从这个新闻页面中提取例如最后 5 篇文章：News？ 我无法使用 rss 提要，因为我的老板希望显示完整的文章。

Answer 1

首先你需要下载主页：

    Document doc = Jsoup.connect("https://globalnews.ca/world/").get();

然后您选择您感兴趣的链接，例如css selectors 您选择所有包含href 和文本globalnews 并嵌套在h3 类story-h 的标签中的a 标签。网址位于a 标记的href 属性中。

    for(Element e: doc.select("h3.story-h > a[href*=globalnews]")) {
        System.out.println(e.attr("href"));
    }

然后，您可以根据需要处理生成的 url。您可以使用第一行的语法等下载前五个的内容。