抓取内容时无法摆脱弹出的空白屏幕

Question

我创建了一个宏来解析不同电影的名称，该电影遍历来自一个 torrent 网站的多个页面。我将InternetExplorer 与 Html.body.innerHTML 解析器（通常与 xmlhttp 请求一起使用）结合使用以加快执行速度。虽然这个网站的内容不是动态的，但我使用 IE 来查看它在结合 Html.body.innerHTML 进行抓取时的行为。

当我使用 IE 运行我的脚本时，它会按预期解析内容并完成工作。我面临的唯一问题是每个分页中都会突然出现一个空白屏幕，如下图所示。

我怎样才能摆脱这个黑屏问题？

我的脚本（当我将Html.body.innerHTML 与 Chrome 驱动程序结合使用时没有问题）：

Sub FetchContent()
    Const link = "https://yts.am/browse-movies/0/all/action/0/latest?page="
    Dim driver As New ChromeDriver, Html As New HTMLDocument, genre$
    Dim post As HTMLDivElement, I&, R&

    For I = 1 To 3
        With driver
            .AddArgument "--headless"
            .get link & I
            Html.body.innerHTML = .ExecuteScript("return document.documentElement.outerHTML")
        End With
        For Each post In Html.getElementsByClassName("browse-movie-bottom")
            R = R + 1: Sheets(1).Cells(R, 1) = post.getElementsByClassName("browse-movie-title")(0).innerText
        Next post
    Next I
    driver.Quit
End Sub

当我尝试将Html.body.innerHTML 与 IE 结合使用时，我希望获得相同的行为，但它会产生空白屏幕以及所需的结果：

Sub FetchContent()
    Const link = "https://yts.am/browse-movies/0/all/action/0/latest?page="
    Dim IE As New InternetExplorer, Html As New HTMLDocument, genre$
    Dim post As HTMLDivElement, I&, R&

    For I = 1 To 4
        With IE
            .Visible = False
            .navigate link & I
            While .Busy Or .readyState < 4: DoEvents: Wend
            Html.body.innerHTML = .document.DocumentElement.outerHTML
        End With
        For Each post In Html.getElementsByClassName("browse-movie-bottom")
            R = R + 1: Sheets(1).Cells(R, 1) = post.getElementsByClassName("browse-movie-title")(0).innerText
        Next post
    Next I
    IE.Quit
End Sub

IE 与Html.body.innerHTML 组合时每个分页中出现的空白屏幕：

Answer 1

我尝试用 IE 测试你的代码，发现我能够产生问题。

我发现下面一行导致了这个问题。

Html.body.innerHTML = .document.DocumentElement.outerHTML

以下是解决此问题的代码的修改版本。

Sub FetchContent1()
    Const link = "https://yts.am/browse-movies/0/all/action/0/latest?page="
    Dim IE As New InternetExplorer, Html As New HTMLDocument, genre$
    Dim post As HTMLDivElement, I&, R&

    For I = 1 To 4
        With IE
            .Visible = False
            .navigate link & I
            While .Busy Or .readyState < 4: DoEvents: Wend

            For Each post In .document.getElementsByClassName("browse-movie-bottom")
            R = R + 1: Sheets(1).Cells(R, 1) = post.getElementsByClassName("browse-movie-title")(0).innerText
        Next post
        End With

    Next I
    IE.Quit
End Sub

IE 11 中的输出：

现在，它不会在 IE 中打开任何空白页了。