使用 Jsoup 进行屏幕抓取以提取句子

Question

我想做一些屏幕抓取，在做了一些研究之后，似乎 JSoup 是完成这项任务的最佳工具。我希望能够提取网页上的所有句子；例如，给定这个维基百科页面http://en.wikipedia.org/wiki/Data_scraping#Screen_scraping，我希望能够获取该页面上的所有句子并将其打印到控制台。我仍然不熟悉 JSoup 的工作原理，所以如果有人可以帮助我，将不胜感激。谢谢！

Answer 1

首先下载 Jsoup 并将其包含在您的项目中。那么最好的起点是 Jsoup 食谱 (http://jsoup.org/cookbook/)，因为它提供了用于 Jsoup 的最常用方法的示例。我建议您花一些时间研究这些示例以熟悉 API。另一个很好的资源是javadocs。

这是一个从您提供的 Wikipedia 链接中提取一些文本的快速示例：

String url = "http://en.wikipedia.org/wiki/Data_scraping#Screen_scraping";  

// Download the HTML and store in a Document
Document doc = Jsoup.connect(url).get();

// Select the <p> Elements from the document    
Elements paragraphs = doc.select("p");

// For each selected <p> element, print out its text
for (Element e : paragraphs) {
    System.out.println(e.text());
}