如何使用 Java 获取外部网页的 XMLHTTPRequest 响应文本？

Question

我很难解析来自外部网站的数据，例如，stackoverflow.com，只使用 Java。 为了了解这个网页的内容，我访问了 Chrome 开发工具，并在 XMLHTTPRequest response 找到了我需要的所有信息！如果它有用，响应具有 JSON 格式。问题是如何仅使用 Java 而不使用 Servlet 来获取这些数据。

Answer 1

不要试图抓取和解析网页，只需使用 StackExchange API 和标准 Java 工具发出请求并获取原始数据。

如果您的实际问题与 SO 没有直接关系，那么，请寻找相关网站的 API。否则，您将需要通过手动解析或在浏览器引擎中运行页面并在无头引擎中使用标准 JS 来获取数据来从字面上抓取网页。