Jsoup 获取部分页面答案

【问题标题】：Jsoup fetching a partial pageJsoup 获取部分页面
【发布时间】：2011-06-16 06:43:57
【问题描述】：

我正在尝试抓取投标网站的内容，但无法获取网站的完整页面。我在 xulrunner 上使用 crowbar 首先获取页面（因为 ajax 以惰性方式加载某些元素），然后从文件中抓取。但是在 birivals 网站的主页上，即使本地文件格式正确，这也会失败。 jSoup 似乎只是在 html 代码中间以“...”字符结尾。如果有人以前遇到过这种情况，请帮助。为 [this link] 调用以下代码。

File f = new File(projectLocation+logFile+"bidrivalsHome");
    try {
        f.createNewFile();
        log.warn("Trying to fetch mainpage through a console.");
        WinRedirect.redirect(projectLocation+"Curl.exe -s --data \"url="+website+"&delay="+timeDelay+"\" http://127.0.0.1:10000", projectLocation, logFile+"bidrivalsHome");
    } catch (Exception e) {
        e.printStackTrace();
        log.warn("Error in fetching the nameList", e);
    }
    Document doc = new Document("");
    try {
        doc = Jsoup.parse(f, "UTF-8", website);
    } catch (IOException e1) {
        System.out.println("Error while parsing the document.");
        e1.printStackTrace();
        log.warn("Error in parsing homepage", e1);
    }

【问题讨论】：

你能发布你正在使用的生成...的代码吗？
添加了代码。此外，同样的事情通过 jSoup.connect(url).get()
@submit：但是在这里您已经构建了文档。 ... 究竟出现在哪里？
在文档对象内部。我希望它具有完整的 html 内容，但奇怪的是在页面中途失败并以 ellipse 结尾。因此，无法访问各种 div 和其他元素。
您正在抓取的页面被停放了？此外，如果这是您要抓取的网站，其中大部分是由 JavaScript 加载的，jsoup 无法处理。

标签： java web-scraping jsoup

【解决方案1】：

尝试使用HtmlUnit 渲染页面（包括JavaScript 和CSS dom 操作），然后将渲染后的HTML 传递给jsoup。

// load page using HTML Unit and fire scripts
WebClient webClient = new WebClient();
HtmlPage myPage = webClient.getPage(myURL);

// convert page to generated HTML and convert to document
Document doc = Jsoup.parse(myPage.asXml(), baseURI);

// clean up resources        
webClient.close();

page.html - 源代码

<html>
<head>
    <script src="loadData.js"></script>
</head>
<body onLoad="loadData()">
    <div class="container">
        <table id="data" border="1">
            <tr>
                <th>col1</th>
                <th>col2</th>
            </tr>
        </table>
    </div>
</body>
</html>

loadData.js

    // append rows and cols to table.data in page.html
    function loadData() {
        data = document.getElementById("data");
        for (var row = 0; row < 2; row++) {
            var tr = document.createElement("tr");
            for (var col = 0; col < 2; col++) {
                td = document.createElement("td");
                td.appendChild(document.createTextNode(row + "." + col));
                tr.appendChild(td);
            }
            data.appendChild(tr);
        }
    }

加载到浏览器时的page.html

| Col1   | Col2   |
| ------ | ------ |
| 0.0    | 0.1    |
| 1.0    | 1.1    |

使用jsoup解析page.html获取col数据

    // load source from file
    Document doc = Jsoup.parse(new File("page.html"), "UTF-8");

    // iterate over row and col
    for (Element row : doc.select("table#data > tbody > tr"))

        for (Element col : row.select("td"))

            // print results
            System.out.println(col.ownText());

输出

（空）

发生了什么？

Jsoup 解析从服务器传递的源代码（或者在这种情况下从文件加载）。它不调用客户端操作，例如 JavaScript 或 CSS DOM 操作。在此示例中，行和列从未附加到数据表中。

如何在浏览器中解析我的页面？

    // load page using HTML Unit and fire scripts
    WebClient webClient = new WebClient();
    HtmlPage myPage = webClient.getPage(new File("page.html").toURI().toURL());

    // convert page to generated HTML and convert to document
    doc = Jsoup.parse(myPage.asXml());

    // iterate row and col
    for (Element row : doc.select("table#data > tbody > tr"))

        for (Element col : row.select("td"))

            // print results
            System.out.println(col.ownText());

    // clean up resources        
    webClient.close();

输出

0.0
0.1
1.0
1.1

【讨论】：