Excel VBA / HTML 从下拉列表中单击下一页

Question

我正在使用 Excel 和 VBA 编写我的第一个数据抓取工具。我被困在试图转到网站的下一页。源代码如下：

<li><a href="#" onclick="changePage(2); return false;">Page 2 of 24</a></li>

这是我拥有但似乎不起作用的 VBA 代码：

For Each l In ie.Document.getElementsByTagName("a")
    If l.href = "#" And l.onclick = "changePage(2); return false;" Then
        l.Item(2).Click
        Exit For
    End If
Next l

当我运行代码时，我没有收到任何错误，但它似乎没有转到第 2 页。请记住，第 2 页之后还有更多页面。我的想法是用变量替换“2”稍后将该变量增加一。但我需要先让它工作。

感谢任何可以提供帮助的人。

Answer 1

[编辑：我现在有一个解决方案，代码已被替换。 -RDH]

首先我想提一下，如果以这种方式检索到的数据用于商业目的或非个人用途，则违反了 Kelley Blue Book (kbb.com) 服务条款的两个部分。

仅供参考：收集、更新和维护数据（如 BlueBook 或 MLS）的网站非常重视他们的数据，他们不喜欢人们抓取这些数据。我正在和我的一位老同学交谈，她拥有计算机科学学位，现在是一名房地产经纪人，我向她提到能够从 MLS 中刮取住房数据是多么酷，她几乎对我大发雷霆.只是说：人们为创建这些数据而获得报酬，人们使用这些数据谋生。 'Nuff 说。 我能够通过在我自己的服务器上创建一个与您正在寻找的格式相同的网页来运行问题代码，因为自从我在加拿大以来，我得到了不同版本的 bluebook.com 网站。我被重定向到 kbb.com。

+++真正的问题+++

问题是带有#符号的href实际上是带有#的完整URL，当您检查onClick事件时，它实际上包含完整的函数声明，因此您只需搜索部分字符串。

' A good idea to declare the proper datatypes
' because IHTMLElement has the click event but IHTMLAnchorElements don't
Dim l As IHTMLElement
Dim htmlanchors As IHTMLElementCollection
' ...

Set htmlanchors = ie.Document.getElementsByTagName("a")

' Look through all the anchor tags on the page
    For Each l In htmlanchors
       ' Check to see the Href contains a # and the onclick event has specific code
        If InStr(l.href, "#") And InStr(l.onclick, "changePage(3); return false;") Then
            ' Click the current anchor link
            l.Click
            Exit For
        End If
Next l

Answer 2

你试过了吗

.FireEvent ("onclick")
Or
.FireEvent ("onmouseover")
.FireEvent ("onmousedown")
.FireEvent("onmouseup")

代替.click？有时 JavaScript 操作不会响应 .click。

Answer 3

Rick – 下面是我的完整代码。我基本上是在尝试抓取 www.the bluebook.com。

Sub ScrapeData()

Dim ie As InternetExplorer
Dim ele As Object
Dim RowCount As Long
Dim myWebsite As String, mySearch1 As String, mySearch2 As String, mySearch3 As String
Dim Document As HTMLDocument

myWebsite = Range("Website").Value
mySearch1 = Range("search1").Value
mySearch2 = Range("search2").Value
mySearch3 = Range("search3").Value

Set mySheet = Sheets("Sheet1")
Range("A6").Value = "Company"
Range("B6").Value = "Address"
Range("C6").Value = "Contact"

RowCount = 7
Set ie = New InternetExplorer
ie.Visible = True
With ie
.Visible = True
.navigate (myWebsite)

Do While .Busy Or .readyState <> 4
    DoEvents
Loop

ie.Document.getElementById("search").Value = mySearch1
ie.Document.getElementById("selRegion").Value = mySearch2
ie.Document.getElementsByClassName("searchBtn")(0).Click

Do While .Busy Or _
    .readyState <> 4
    DoEvents
Loop

For Each ele In .Document.all
    Select Case ele.className
    Case "result_title"
    RowCount = RowCount + 1
    Case "cname"
    mySheet.Range("A" & RowCount) = ele.innerText
    Case "addy_wrapper"
    mySheet.Range("B" & RowCount) = ele.innerText
    End Select
Next ele
End With

'THIS IS THE CODE THAT IS NOT WORKING
For Each l In ie.Document.getElementsByTagName("a")
    If l.href = "#" And l.onclick = "changePage(3); return false;" Then
        l.Item(3).Click
        Exit For
    End If
Next l

Set ie = Nothing
End Sub