仅从 url 收集相关链接

Question

我需要的是从url收集相关链接。例如，从http://beechplane.wordpress.com/ 之类的链接中，我需要收集包含实际文章的链接。即，http://beechplane.wordpress.com/2012/11/07/the-95-confidence-of-nate-silver/、http://beechplane.wordpress.com/2012/03/06/visualizing-probability-roulette/ 等链接。

如何在 Java 中获取这些链接？是否可以使用网络爬虫？

Answer 1

我为此使用 jsoup 库。

如何从文档中获取所有<a>标签：

Elements a = doc.select("a");
for (Element el : a) {
    //process element
    String href = el.attr("href");
}