【问题标题】:R: xml2 extracts more nodes than expectedR:xml2 提取的节点比预期的多
【发布时间】:2017-01-08 12:29:17
【问题描述】:

我不明白为什么这个代码

library(rvest)
u <- "http://alistapart.com/article/daemonskin"
h <- read_html(u)
html_nodes(h, "div.main-content[itemprop='articleBody'] a") %>%
  html_attr("href")

匹配许多超出目标&lt;div&gt; 元素范围的URL。

如果你查看target page的HTML源代码:

  • 只有一个&lt;div&gt; 与我的查询匹配。它从第 177 行开始。
  • &lt;div&gt; 在 396 号线停靠。
  • 然而,上述代码中html_nodes 返回的许多 URL 是从该行之外的节点中提取的,在该行之外的 &lt;div&gt; 之外。

注意:您可能会注意到,在 HTML 的第 242 行,有一个错误的 &lt;/div 元素。但是,修复它似乎并不能解决问题。

我猜这个问题与xml2(即libxml2)如何解析代码有关。

还有其他想法吗?

【问题讨论】:

    标签: r web-scraping libxml2 rvest xml2


    【解决方案1】:

    嗯,主要问题是网站上的 HTML 设计不佳、不合规,该网站以在这方面实际上比其他人更聪明而自豪。

    当你这样做时:

    library(rvest)
    library(purrr)
    
    URL <- "http://alistapart.com/article/daemonskin"
    
    read_html(URL) %>%
      html_nodes("div.main-content[itemprop='articleBody'] a") %>%
      html_attr("href") %>%
      str()
    ##  chr [1:74] "#comments" ...
    

    底层的libxml2 库正在“修复”轻微的HTML (XML) 错误,并且有自己的处理方式。由于解析器“修复” HTML 的方式,这种方式会导致更多元素位于您所定位的特定 &lt;div&gt; 下。

    您可以看到与真实浏览器的结果不同,我们可以使用 selenium 进行模拟:

    注意:我在 R 之外的 webdriver 模式下启动了 phantomjs

    library(seleniumPipes)
    
    rd <- remoteDr(browserName = "phantomjs", port = 8910)
    rd %>% go(URL)
    

    当你这样做时,它是 phantomjs(实际上是 webkit)将它自己的基于浏览器的 HTML 解析器修复方法应用到它接收到的 HTML(并且,它还根据页面加载时的任何 javascript 触发器添加或减去节点)。

    当您使用 document.querySelectorAll() 的等效项来检索节点时,您会得到 34 个(这也是我在开发者工具控制台中的 Chrome 中得到的):

    rd %>%
      findElements("css", "div.main-content[itemprop='articleBody'] a") %>%
      map_chr(getElementAttribute, "href") %>%
      str()
    ##  chr [1:34] "http://alistapart.com/article/daemonskin#comments" ...
    

    注意,如果你决定做我通常做的事情并使用getPageSource() 通过rvest/xml2 函数进行所有选择/提取,你会得到不同的结果,因为它会提取当前的 HTML 页面从虚拟浏览器将其传递给read_html(),libxml2 对 webkit 理论上已经清理的内容进行了一些额外的修复:

    rd %>%
      go(URL) %>%
      getPageSource() %>%
      html_nodes("div.main-content[itemprop='articleBody'] a") %>%
      html_attr("href") %>%
      str()
    ##  chr [1:32] "#comments" ...
    

    【讨论】:

    • 非常感谢 phantomjs 证明问题出在 HTML 以及 libxm2 如何修补它。然而,这是一个奇怪的问题,我没有找到如何实际修补代码(添加/删除什么)来解决问题。您找到导致问题的标签了吗?
    • 另外,感谢您编辑问题以改进标记。
    • selenium 或 phantom rly 在系统上运行还不错。我会尝试抽出一些时间来比较文档的结构变化。
    • 我刚刚运行了 phantomjs + 你的代码,就像一个魅力,再次感谢所有的指针。另外,我在 GitHub 上打开了一个关于此的问题,提到您和应该修复 HTML 代码中的错误的网站管理员。
    • 与你的回答有关,我偶然发现了这个:github.com/rstudio/webdriver -- 看起来很酷!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-07-21
    • 1970-01-01
    • 2021-09-20
    • 1970-01-01
    • 1970-01-01
    • 2018-09-11
    • 1970-01-01
    相关资源
    最近更新 更多