MSXML2.XMLHTTP 可以检索给定网页的所有 HTML 数据吗？

Question

对于显示检索数据表的动态网页，我发现 MSXML2.XMLHTTP 和 Internet Explorer 对象通常都无法访问这些数据。一个很好的例子是https://www.tiff.net/tiff/films.html。这两种技术都不会检索任何电影数据——只是周围的网页。我试过的代码如下：

Function getHTTP(ByVal sReq As String) As Variant
    On Error GoTo onErr
    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", sReq, False
        .send
        getHTTP = StrConv(.responseBody, 64)
    End With
    Exit Function
    onErr:   MsgBox "Error " & Err & ": " & Err.Description, 49, "Error opening site"
End Function

Function GetHTML(ByVal strURL As String) As Variant
  Dim oIE As InternetExplorer
  Dim hElm As IHTMLElement
  Set oIE = New InternetExplorer
  oIE.Navigate strURL
  Do While (oIE.Busy Or oIE.ReadyState <> READYSTATE_COMPLETE)
     DoEvents
  Loop
  Set hElm = oIE.Document.all.tags("html").Item(0)
  GetHTML = hElm.outerHTML
  Set oIE = Nothing
  Set hElm = Nothing
End Function

但有一种方法可以手动检索电影数据 - 只需使用 Microsoft Edge 或 Internet Explorer 按照以下步骤操作：

Right-click on one of the movies 

Choose “inspect element." The DevTools console opens. 

At the bottom-left of the screen, click on the “html” tab. 

Right-click the tab.  Choose “copy.” 

Open notepad and paste what you’ve copied.

您现在有了电影数据，可以将其保存到文件中进行解析。我的问题：有没有办法以编程方式获取这些数据？

Answer 1

为什么是 Json？因为页面是使用 json 数据加载的

查看：使用谷歌浏览器 --> 按 F12 --> 加载 URL --> 转到网络选项卡

---

代码：

Sub getHTTP()

    Dim Url As String, data As String
    Dim xml As Object, JSON As Object, colObj, item


    Url = "https://www.tiff.net/data/films-events-2018.json?q=1513263947586"

    Set xml = CreateObject("MSXML2.ServerXMLHTTP")
    With xml
        .Open "GET", Url, False
        .send
        data = .responseText
    End With


    Set JSON = JsonConverter.ParseJson(data)
    Set colObj = JSON("items")

    For Each item In colObj
        Debug.Print item("title")
        Debug.Print item("description")

        For Each c1 In item("cast")
            Debug.Print c1
        Next

        For Each c2 In item("countries")
            Debug.Print c2
        Next
    Next
End Sub

---

输出

---

安装JsonConverter

1. 下载latest release
2. 将 JsonConverter.bas 导入您的项目（打开 VBA 编辑器，Alt + F11；文件 > 导入文件） 添加字典参考/类
3. 仅适用于 Windows，包括对“Microsoft Scripting Runtime”的引用
4. 对于 Windows 和 Mac，包括 VBA 字典

---

数据树状视图

Answer 2

这是使用 IE 的电影片名（您可以使用相同的流程来获取导演）

Option Explicit
Public Sub GetFilms()
    Dim IE As New InternetExplorer, html As HTMLDocument, films As Object, i As Long
    With IE
        .Visible = True
        .navigate "https://www.tiff.net/tiff/films.html"

        While .Busy Or .readyState < 4: DoEvents: Wend
        Set films = .document.querySelectorAll("[target=_self]")

        For i = 0 To films.Length - 1
            Debug.Print films.item(i).innerText
        Next
        .Quit '<== Remember to quit application
    End With
End Sub

XHR 太快了，有提供的 URL，但是 IE 就可以了。

如果您检查 HTML，您会发现每部电影都有以下共同点：

a 标记中有一个名为target 的属性，其值为_self。

您可以使用属性 CSS 选择器通过 document. 的 querySelectorAll 方法收集所有这些匹配元素

---

CSS 选择器（示例）：

---

如果可以通过解析 HTML 来获取电影描述，我会很感兴趣。我原以为 cmets 的存在掩盖了电影的描述。理论上，在"<!-- react-text: \d+ -->([^...].+?(?=<))" 中选择文本的正则表达式在应用于.innerHTML 时似乎失败了，尝试用正则表达式开始和结束评论也是如此。