Jsoup 将页面抓取到我的本地驱动器

Question

我正在研究一个搜索引擎，我想要一个 jsoup 网络爬虫来从网站获取页面并将这些页面存储在我的本地硬盘驱动器中，例如 C:\tmp。你能帮我解决这个问题吗

谢谢 ;)

Answer 1

你可以用jsoup试试这个。

    try {
        Document doc = Jsoup.connect("http://en.wikipedia.org/wiki/Main_Page").get();
        String html = doc.html();
        BufferedWriter out = new BufferedWriter(new FileWriter("c:/tmp/wiki.html"));
        out.write(html);
        out.close();
    } catch (IOException e) {
        e.printStackTrace();
    }

它将生成一个名为wiki.html 的文件，其中包含目录c:/tmp/ 中的维基百科主页。