通过 JAVA 获取网站的“Inspect Element”

【问题标题】：Get the “Inspect Element” of a website by JAVA通过 JAVA 获取网站的“Inspect Element”
【发布时间】：2020-11-02 08:28:37
【问题描述】：

使用JAVA按F12时显示给我的“元素”代码是否可以获得？

我最近需要从数千个具有相同编码格式的网页的元素代码中获取特定信息。

【问题讨论】：

据我了解，您需要一个 Java 网页抓取工具。见这里：stackoverflow.com/questions/3202305/web-scraping-with-java

标签： java

【解决方案1】：

您可以使用 Selenium 来做到这一点：

    WebClient webClient = new WebClient();
    webClient.getOptions().setCssEnabled(false);
    webClient.setCssErrorHandler(new SilentCssErrorHandler());
    String url = "https://www.google.com";
    HtmlPage page = webClient.getPage(url);
    System.out.println(page.asXml());

    webClient.close();

包含依赖：

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>htmlunit-driver</artifactId>
    <version>2.40.0</version>
</dependency>

如果需要，包括任何其他依赖项。

【讨论】：