使用 JSoup 和 Android Studio 从网站或 rss 提要收集信息

Question

我正在（慢慢地）学习使用 JSoup 来解析网站的源代码，但我觉得自己快要走到尽头了。也就是说，我不完全确定我应该研究什么方法。

理论上，我想开发一个筛选特定搜索页面（即 Google、Monster、Craigslist、eBay 等）并提取某些数据的应用程序。这些数据可能在第一页上，但它可能在列表的下方 10 多页（在 Google 中，显然它可能是数百页）。无论是搜索结果 (Google)、职位发布 (Monster) 还是待售商品 (Craigslist/eBay)，我该如何完成这项工作？

直到最近我才知道 JSoup。而且我不会“坚持”使用它。但是，我的研究让我相信使用 JSoup 会给我带来想要的结果。所以，我正在尝试学习如何使用它来做我想做的事。 （如果有人知道任何广泛的初学者教程，请告诉我）

那么我应该怎么做呢？我知道这是一个模糊的问题，但我有一个目标，但我不确定我是如何实现的。

我还考虑过在可用时使用/搜索 RSS 提要（即 Craigslist）。这是否也可能比直接从站点/源代码中提取更容易或更难？

除此之外，我希望能够在出现新信息时向用户发送通知（Craigslist/eBay 上出售的新商品、Monster 上的新工作等）。我可以确定我确定。

提前致谢！

Answer 1

你的回答有点含糊，所以我会尽量涵盖。 Jsoup 是一个HTML/XHTML parser 库。这意味着它可以向某个url发出GET或POST请求，并获取服务器生成的内容。然后它解析此内容以使用 java 对象构建DOM 表示。

问题是你的例子。你提到了Google 和Monster。据我所知，这些站点使用Ajax 来从服务器检索内容。他们使用javascript 来生成动态内容。 Jsoup 无法处理 javascript 生成的内容。这是因为它无法执行javascript。它当然可以“看到”它，因为它包含在服务器的响应中，但它认为它是简单的文本，而不是代码。浏览器可以处理这种内容，因为它包含一个javascript 执行引擎。

通常更安全/更好/更容易从源的API 获取内容。它是否提供rss feed 或API？然后使用它。例如 Google provides a way 以编程方式执行搜索查询。

如果源不提供访问它的编程方式，那么当且仅当内容是静态的时，您可以使用Jsoup 解析内容。为了确定内容是静态的还是由javascript 生成的，请访问您要解析的站点并按Ctrl + U。 HTML 的网格是 Jsoup 在您向站点发出请求时将收到的。如果您需要的内容不包含在其中，则内容是动态的。在这种情况下，您必须使用headless browser，这是一个库/框架，其中包括一个javacript 执行引擎。这样你就可以 100% 模拟浏览器。

就教程而言，this 将满足您对Jsoup 的所有需求。如果内容是javacript生成的，那么你可以使用无头浏览器来检索它，然后通过解析已经检索到的内容来使用Jsoup，只是为了解析而不是获取内容。

我提供的材料足以让您继续研究。为了获得更好的信息，您必须具体说明您面临的问题。

更新

检查selenium for android 和selendroid