使用 jsoup 和 android 从网站上抓取链接答案

【问题标题】：Scrape links from websites with jsoup and android使用 jsoup 和 android 从网站上抓取链接
【发布时间】：2014-02-27 11:02:37
【问题描述】：

我正在尝试制作一个可以从网站中删除链接的应用程序。作为一个起点，我只是想把它们作为系统消息。当我运行程序时，我根本看不到任何消息。怎么了？请帮忙。

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import android.app.Activity;

import java.io.*;


public class HTMLLinkExtractor extends Activity {


        public static void main() {
            scrapeLink();
        }




            public static void scrapeLink(){
                File input = new File("/tmp/input.html");
                Document doc = null;
                try {
                    doc = Jsoup.parse(input, "UTF-8", "http://www.homedepot.com");
                    Elements link = doc.select("a[href]");
                    String stringLink = null;

                            for(int i=0; i<link.size(); i++){

                                stringLink = link.toString();
                                System.out.println(stringLink);
                            }

                    System.out.println(link);
                } catch (IOException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
                Element links = doc.select("a[href]").first();
                System.out.println(links);
                }
}

【问题讨论】：

您的 input.html 包含什么？
我没有我在 jsoup 网站上发现部分代码是它正在创建的文件。
这种情况下可以直接连接url，下面回答

标签： android jsoup screen-scraping

【解决方案1】：

由于您没有实际包含html数据的input.html（baseUri是解析该html中的相对链接），您可以修改代码直接连接到网站并直接获取数据：

试试，

public static void main(String... args) {
        scrapeLink();
    }

    public static void scrapeLink() {
        // File input = new File("/tmp/input.html");
        Document doc = null;
        try {
            doc = Jsoup.connect("http://www.homedepot.com").get();
            Elements link = doc.select("a[href]");
            String stringLink = null;

            for (int i = 0; i < link.size(); i++) {

                stringLink = link.toString();
                System.out.println(stringLink);
            }

            System.out.println(link);
        } catch (IOException e) {
            e.printStackTrace();
        }
        Element links = doc.select("a[href]").first();
        System.out.println(links);
    }

输出，

<a href="http://www.homedepot.ca/?eid=us-language-selection-en&amp;utm_source=us-language-selection-en"><font color="#ED8A3D"><b>English</b></font></a>
<a href="http://www.homedepot.ca/accueil?eid=us-language-selection-fr&amp;utm_source=us-language-selection-fr"><font color="#ED8A3D"><b>Francais</b></font></a>
...

注意，我将主程序作为 Java 应用程序运行，您可以将其更改为在 ADT 中运行。

【讨论】：

这在严格模式下工作，谢谢你发布如何使用 adt 来完成

【解决方案2】：

android asyncTask 的答案

class scrapeLinks extends AsyncTask<Void,Void,Void> {

       @Override
       protected void onPreExecute() {
           super.onPreExecute();
           pDialog = new ProgressDialog(MainActivity.this);
           pDialog.setMessage("getting links");
           pDialog.setIndeterminate(false);
           pDialog.setCancelable(true);
           pDialog.show();
       }


    @Override
    protected Void doInBackground(Void... params) {
         Document doc = null;
            try {
                doc = Jsoup.connect("http://www.homedepot.com").get();
                Elements link = doc.select("a[href]");
                String stringLink = null;

                for (int i = 0; i < link.size(); i++) {

                    stringLink = link.toString();
                    System.out.println(stringLink);
                }

                System.out.println(link);
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            Element links = doc.select("a[href]").first();
            System.out.println(links);

            return null;
        }
         }

    protected void onPostExecute(Void...params){
        pDialog.dismiss();
    }

       }

【讨论】：