XML2-Package：如何处理空节点？答案

【问题标题】：XML2-Package: How to treat empty Nodes?XML2-Package：如何处理空节点？
【发布时间】：2019-04-15 15:03:44
【问题描述】：

我正在尝试从 html 站点中提取一些数据。我有 500 个节点，应该包含日期、标题和摘要。通过使用

url <- "https://www.bild.de/suche.bild.html?type=article&query=Migration&resultsPerPage=1000"
html_raw <- xml2::read_html(url)
main_node <- xml_find_all(html_raw, "//section[@class='query']/ol") %>%
  xml_children()

xml_find_all(main_node, ".//time") #time
xml_find_all(main_node, ".//span[@class='headline']") #title
xml_find_all(main_node, ".//p[@class='entry-content']") #summary

它返回三个带有日期、标题和摘要的向量，它们可以组合在一起。至少在理论上。不幸的是，我的代码找到了 500 个日期、500 个标题，但只有 499 个摘要。原因是其中一个节点丢失了。

这给我留下了一个问题，因为长度不同，我无法将它绑定到数据框中。摘要与确切的日期和标题不符。

一个简单的解决方案是循环遍历节点并将空节点替换为“NA”之类的占位符。

dates <- c()
titles <- c()
summaries <- c()

for(i in 1:length(main_node)){
  date_temp <- xml_find_all(main_node[i], ".//time") %>%
    xml_text(trim = TRUE) %>%
    as.Date(format = "%d.%m.%Y")
  title_temp <- xml_find_all(main_node[i], ".//span[@class='headline']") %>%
    xml_text(trim = TRUE)
  summary_temp <- xml_find_all(main_node[i], ".//p[@class='entry-content']") %>%
    xml_text(trim = TRUE)

  if(length(summary_temp) == 0) summary_temp <- "NA"

  dates <- c(dates, date_temp)
  titles <- c(titles, title_temp)
  summaries <- c(summaries, summary_temp)
}

但这使得简单的三行代码变得不必要了。所以我想我的问题是：有没有比循环更复杂的方法？

【问题讨论】：

对不起！添加了更多细节。
不幸的是，这是最好的方法。一项改进是使用函数xml_find_first，如果找不到节点，它将始终返回一个值或返回NA。

标签： r xml2

【解决方案1】：

您可以使用 purrr 库来帮助避免显式循环

library(purrr)
dates <- main_node %>% map_chr(. %>% xml_find_first(".//time") %>% xml_text())
titles <- main_node %>% map_chr(. %>% xml_find_first(".//span[@class='headline']") %>% xml_text())
summaries <- main_node %>% map_chr(. %>% xml_find_first(".//p[@class='entry-content']") %>% xml_text())

这使用了xml_find_first 将返回NA 的事实，如果没有找到@Dave2e 指出的元素。

但通常，通过在循环中附加每次迭代来增长列表在 R 中效率非常低。最好预先分配向量（因为它将具有已知长度），然后将每次迭代的值分配给适当的插槽 (out[i] <- val)。 R 中的循环本身并没有什么问题。实际上只是内存重新分配会减慢速度。

【讨论】：