该程序仅适用于该网址......对于其他网址它有效[重复]

Question

我想从这个可用的数据表中获取数据 提到的网址。

这不适用于此网址，仅适用于其他网址，它可以正常工作。

这是网页抓取的代码，但问题是该网址不起作用。

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class GetData {
   public static void main(String[] args) throws InterruptedException {

      String html = "http://programs.dsireusa.org/system/program";
      try {
         Document doc = Jsoup.connect(html).get();
         Elements tableElements = doc.select("table");

         Elements tableHeaderEles = tableElements.select("thead tr th");
         System.out.println("headers");
         Thread.sleep(5000);
         System.out.println(tableHeaderEles.size());

         for (int i = 0; i < tableHeaderEles.size(); i++) {
            System.out.println(tableHeaderEles.get(i).text());
         }
         System.out.println();

         Elements tableRowElements = tableElements.select(":not(thead) tr");

         for (int i = 0; i < tableRowElements.size(); i++) {
            Element row = tableRowElements.get(i);
            System.out.println("row");
            Elements rowItems = row.select("td");
            for (int j = 0; j < rowItems.size(); j++) {
               System.out.println(rowItems.get(j).text());
            }
            System.out.println();
         }

      } catch (IOException e) {
         e.printStackTrace();
      }
   }
}

我期望这个数据表中所有可用数据的输出 url 这个程序适用于其他其他 url。

http://programs.dsireusa.org/system/program

Answer 1

问题在于该 url 在页面加载后加载其元素（通过 javascript）。如果您在抓取之前可能等待 2 秒，则应该加载页面

编辑：您将需要使用除 beautifulSoup 之外的其他东西，因为 bs jsut 会在页面加载时读取所有内容。你可以使用 selenium 来制作一个真正的浏览器来读取数据