Java - 获取网页内容跳过中间页面以响应达到所需的响应答案

【问题标题】：Java - fetch web contents skipping middle pages in response reaching to the desired responseJava - 获取网页内容跳过中间页面以响应达到所需的响应
【发布时间】：2012-12-26 19:23:35
【问题描述】：

Java 我有一种情况，我必须在表单提交的结果中获取响应的网页内容，但这有点棘手，因为流程不像请求和响应那么简单，如下所示。

Submit button pressed -> Display page processing wait timer -> Display quick advertisement page -> Display page result.

从“按下提交按钮”开始，我想要“显示页面结果”内容并在其间跳过页面。

我有这个示例代码，但它只能以一种方式工作，发送请求和接收响应。

URL url;
InputStream is = null;
DataInputStream dis;
String line;

try {
    url = new URL("http://stackoverflow.com/");
    is = url.openStream();  // throws an IOException
    dis = new DataInputStream(new BufferedInputStream(is));

    while ((line = dis.readLine()) != null) {
        System.out.println(line);
    }
} catch (MalformedURLException mue) {
     mue.printStackTrace();
} catch (IOException ioe) {
     ioe.printStackTrace();
} finally {
    try {
        is.close();
    } catch (IOException ioe) {
        // nothing to see here
    }
}

任何 java 库都可以为我做这件事吗？提前致谢。

【问题讨论】：

标签： java web-crawler web-content

【解决方案1】：

考虑尝试Selenium web driver。可能它有你想要实现的东西。

【讨论】：

检查SO上的这篇文章是否有帮助
页面我请求它在页面加载时使用 ajax 加载表单，这就是为什么使用 HtmlUnitDriver 它找不到表单元素？任何建议
我启用了 javascript 来加载 ajax 组件，但它在 facebook 内容上给出了限制 url 异常。