使用 Java 进行抓取/提取，来自 coinmarketcap.com答案

【问题标题】：Scrape/extract with Java, result from coinmarketcap.com使用 Java 进行抓取/提取，来自 coinmarketcap.com
【发布时间】：2017-11-30 10:27:53
【问题描述】：

我需要使用 Java 从页面顶部提取硬币市值（例如：市值：$306,020,249,332），请参见附图。

我在 Java Eclipse 中使用过 jsoup 库，但没有提取体积。 Jsoup 只提取其他属性。可能问题来自 java 脚本库。

我也使用了html单元但没有成功：

import java.io.IOException;
import java.util.List;

import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class Testss {
    public static void main(String\[\] args) throws IOException {

        String url = "https://coinmarketcap.com/faq/";

        WebClient client = new WebClient();
        HtmlPage page = client.getPage(url);
        List<?> anchors = page.getByXPath("//div\[@class='col-sm-6 text-center'\]//a");
        for (Object obj : anchors) {
            HtmlAnchor a = (HtmlAnchor) obj;
            System.out.println(a.getTextContent().trim());
        }
    }
}

如何使用 Java 从该站点提取音量？

谢谢！

【问题讨论】：

标签： java web-scraping jsoup htmlunit

【解决方案1】：

检查网络选项卡找出获取数据的确切请求，在您的情况下是https://files.coinmarketcap.com/generated/stats/global.json

另外请求网址是下面的

因此，获取主 URL 不会为您提供所需的内容，因此您必须直接从请求 URL 中获取数据并使用任何 JSON 库对其进行解析。 SimpleJSON 我可以建议其中之一。

点击 url 后得到的 JSON 数据。

{
  "bitcoin_percentage_of_market_cap": 55.95083004655126,
  "active_cryptocurrencies": 1324,
  "total_volume_usd": 21503093761,
  "active_markets": 7009,
  "total_market_cap_by_available_supply_usd": 301100436864
}

【讨论】：