如何在 Java 中筛选抓取 Ajax 站点？答案

【问题标题】：How to screen scrape an Ajax site in Java?如何在 Java 中筛选抓取 Ajax 站点？
【发布时间】：2011-09-25 09:15:17
【问题描述】：

我希望屏幕抓取几个基于 Ajax 的网站并模拟刷新网页部分的点击，然后阅读更新的 HTML。有没有可以做到这一点的Java库？

【问题讨论】：

【解决方案1】：

这些书应该对你有所帮助（尽管只有第一本是为 Java 开发人员准备的）：

【讨论】：

【解决方案2】：

我认为这样做的唯一方法是嵌入浏览器，以便在更新 DOM 时执行 Javascript 并获取数据。 This related stack overflow question may help.

【讨论】：

【解决方案3】：

使用HtmlUnit 非常适合！它是一款无头浏览器，能够通过点击、鼠标位置以及几乎所有您想要的方式进行游戏。

【讨论】：