在VBA中滚动网页时等待窗口重新加载

Question

我编写了一个 VBA 宏来计算 Google 搜索特定术语时返回的（大约）图像数量。近似我的意思是程序应该计算返回的图像数量，向下滚动以加载更多（如果适用）最多计算 400 个图像。这是（简化的）代码：

Sub GoogleCount ()

'''
'[Code to construct the URL ('fullUrl')]
'''
    Set objIE = New InternetExplorer
    objIE.navigate fullUrl
    Do While objIE.Busy = True Or objIE.readyState <> 4: DoEvents: Loop
    Set currPage = objIE.document
    'Count images returned
    newNum = currPage.getElementById("rg_s").getElementsByTagName("IMG").Length
    'Scroll down until count = 400 (max) or no change in value
    Do While newNum >= 100 And newNum < 400 And newNum <> oldNum
        oldNum = newNum
        currPage.parentWindow.scrollBy 0, 100000
        Do While objIE.Busy = True Or objIE.readyState <> 4: DoEvents: Loop
        newNum = currPage.getElementById("rg_s").getElementsByTagName("IMG").Length
    Loop

'''
'[Code to paste the value of newNum into my workbook, and do some other progress reporting]
'''
End Sub

我对滚动不满意，感觉非常'手动'，尤其是当您以固定值滚动时（任何点让它动态？即找到页面的结尾并滚动到那里）。

但主要问题是它不起作用：当我执行代码时，它会正确计算前 100 个（或更少）图像。但是当它应该滚动并计算更多时，我会返回 100 的值。用 F8 慢慢地遍历代码，我得到了正确的数字（最大 400），这让我得出结论，代码运行得太快了（我可能错了）。

为了减慢代码速度，我尝试添加 objIE.readyState 检查循环，但因为我只是在滚动，我不认为它算作页面“重新加载”，所以循环在等待新的循环时无效要加载的图像。

我考虑过添加一个时间延迟。我已经在工作了

Private Declare Sub Sleep Lib "kernel32" (ByVal dwMilliseconds As Long)

在工作表的其他地方 - 所以，我可以添加小至毫秒级的延迟。

但我真的想避免使用它，因为这段代码是为 c 运行的。 50 种不同的搜索，并且已经花费了足够长的时间来执行，添加足够长的固定延迟以适应慢速连接速度并不理想。此外，互联网速度变化很大，以至于固定延迟非常不可靠 - 我可以进行某种连接测试以获得更好的大致数字，但最好的选择显然是只要你必须等待。

或者更好找到另一种计算图像的方法，最好是不涉及重新加载页面 4 次的方法！ 有什么想法吗？

注意。如果您想自己调试，将fullUrl 设置为https://www.google.com/search?q=stack overflow|exchange&tbm=isch&source=lnt&tbs=isz:ex,iszw:312,iszh:390 的良好图像搜索可能会返回>100 张但少于400 张的图像，因此您可以测试代码的各个方面

Answer 1

通过进一步的研究，我想出了这种方法：

Dim myDiv As HTMLDivElement: Set myDiv = currPage.getElementById("fbar")
Dim elemRect As IHTMLRect: Set elemRect = myDiv.getBoundingClientRect
Do Until elemRect.bottom > 0
    currPage.parentWindow.scrollBy 0, 10000
    Set elemRect = myDiv.getBoundingClientRect
Loop
myDiv.ScrollIntoView

currPage 是 HTML 网页 (Dim currPage As HTMLDocument)，myDiv 是特定元素。类型并不重要，但应注意myDiv 始终位于文档的底部并且 仅在其他所有内容完成后才加载。因此，对于 Google 图片，这是帮助栏，您只能在滚动浏览所有图片结果后才能看到。

工作原理

代码如下：myDiv.getBoundingClientRect 是一种检查元素在浏览器中是否可见的方法——这就是为什么我们需要查看页面底部的元素，如如果我们滚动直到它变得可见，那么其他所有内容也必须加载。

这当然是Do Until...Loop 的来源；我们循环直到elemRect.bottom 值不为零（因为当元素不在视图中时，它为零，一旦它在视图中，它就变为非零数）。更多信息请参阅here

最后，使用myDiv.ScrollIntoView 将浏览器置于底部；这是必要的，因为BoundingClientRect 在元素出现在屏幕上之前稍微可见，因此我们需要滚动最后一位以加载最终图像。

为什么不直接使用ScrollIntoView 作为开头？它不起作用，因为元素还没有加载。

Answer 2

只需这样做，我相信您可以找到更好的方法（如果您认为值得花时间）但这应该没问题：

newNum = -1
Set objIE = New InternetExplorer
objIE.navigate fullUrl
Do While objIE.Busy = True Or objIE.readyState <> 4: DoEvents: Loop
Set currPage = objIE.document
Do Until oldNum = newNum
    oldNum = newNum
    newNum = currPage.getElementById("rg_s").getElementsByClassName("rg_di rg_bx rg_el ivg-i").Length        
    Application.Wait Now + TimeSerial(0, 0, 2)
    currPage.parentWindow.scrollBy 0, 100000        
    Application.Wait Now + TimeSerial(0, 0, 2)
    If newNum > 400 Then newNum = 400
Loop

然后你只需要根据你的计算机加载速度来调整 TimeSerial 的延迟（在这里我设置为 2 秒）