在 Excel VBA 中，检查网页是否已完全加载的方法是什么？

Question

要暂停代码直到网页完全加载，我几乎一直都在使用下面的方法并取得了巨大的成功。

Do While objIE.Busy = True Or objIE.readyState <> 4: DoEvents: Loop

但偶尔，我会看到在该方法确定页面已完全加载后加载文本内容，因此未提取内容。

但是，如果我通过 F8 单步执行代码，则每次都会提取内容。这与我重复按 F8 键的速度一样快。

那么在代码继续提取数据之前，如何检查以确保页面及其所有内容已完全加载？

在这两种情况下，IE 都在不可见地运行。但是，我已经在 IE 可见的情况下进行了尝试，并且在我正在使用的页面上的这个特定位置实际上有内容。

这是在 Excel 2016 中使用 VBA 脚本完成的。具体的内容请求写成这样：

 'get item name from page and write it to the first cell on the first empty row available
 Set itemName = objIE.document.querySelector(".the-item-name")
 Worksheets("Results").Range("A1048576").End(xlUp).Offset(1, 0).Value = itemName.innerText

我已经阅读了Excel VBA: Wait for JavaScript execution in Internet Explorer，因为我认为可能是在加载文档后添加了这些值，以防止任何人抓取数据。但是，我似乎无法识别任何可能这样做的脚本。并不意味着它不存在。我只是还看不到它。

存在此问题的页面的一个具体示例是 URL

https://www.homedepot.ca/en/home/p.dry-cloth-refills-32---count.1000660019.html

最初product-total-price div 元素在加载价格之前包含破折号 (-)，所以这就是请求将返回的内容：- / each 而不是 $11.29 / each。

我有一个解决方法，但它不像我希望的那样高效或简洁。我测试返回的字符串是否存在破折号。如果它在那里，循环并再次检查它，否则捕获它并将其插入到工作表中。

setPriceUM:
    Set hdPriceUM = objIE.document.querySelector(".product-total-price").innerTe‌​‌​xt
    hdPriceUMString = hdPriceUM.innerText
    stringTest = InStr(hdPriceUMString, "-")
    If stringTest = True Then
        GoTo setPriceUM
    Else
        Debug.Print hdPriceUMString
    End If

感谢您花时间阅读并考虑它。

Answer 1

网页的功能非常不同，因此没有适合所有网页的解决方案。

关于您的示例，您的解决方法是一个可行的解决方案，代码可能如下：

Sub TestIE()

    Dim q

    With CreateObject("InternetExplorer.Application")
        .Visible = True
        .Navigate "https://www.homedepot.ca/en/home/p.dry-cloth-refills-32---count.1000660019.html"
        ' Wait IE
        Do While .readyState < 4 Or .Busy
            DoEvents
        Loop
        ' Wait document
        Do While .document.readyState <> "complete"
            DoEvents
        Loop
        ' Wait element
        Do
            q = .document.querySelector(".product-total-price").innerText
            If Left(q, 1) <> "-" Then Exit Do
            DoEvents
        Loop
        .Quit
    End With
    Debug.Print q

End Sub

无论如何，您需要使用浏览器开发工具 (F12) 查看网页加载过程、XHR 和 DOM 修改。这样一来，您可能会发现众多 XHR 之一以 JSON 格式返回价格。它在页面加载时出现价格之前登录浏览器开发工具的网络选项卡。该 XHR 是由加载的 JS 之一制作的，特别是在页面加载事件之后。试试这个网址（我刚刚从网络标签复制了它）：

https://www.homedepot.ca/homedepotcacommercewebservices/v2/homedepotca/products/1000660019/localized/9999?catalogVersion=Online&lang=en

所以你可以复制 XHR 并通过拆分提取价格：

Sub TestXHR()

    Dim q

    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", "https://www.homedepot.ca/homedepotcacommercewebservices/v2/homedepotca/products/1000660019/localized/9999?catalogVersion=Online&lang=en", False
        .Send
        q = .ResponseText
    End With
    q = Replace(q, " : ", ":")
    q = Split(q, """displayPrice""", 2)(1)
    q = Split(q, """formattedValue"":""", 2)(1)
    q = Split(q, """", 2)(0)
    Debug.Print q

End Sub

但同样，没有常见的情况。

你也可以使用 JSON 解析器，看看some examples。