带有 html_nodes ( rvest ) 的 R 循环没有捕获所有数据

Question

我想用html_node做一个循环来捕捉一些节点的值（节点没有文本），也就是我有一些值

library(rvest)
country <- c("Canada", "US", "Japan", "China")

使用这些值（“Canada”，“us”，...），我完成了一个循环，通过将每个值粘贴到“https://en.wikipedia.org/wiki/”来创建一个 URL，之后，每个新的 html 应用 read_html (i) 和一系列代码最终用 html_nodes ('a.page-link') 捕获一个节点 - 是的！一个节点，而不是文本，并将 html_nodes (...) 作为.character 保存在 data.frame 中（或者可以是列表）。

dff<- NULL
for ( i in country ) {
url<-paste0("https://en.wikipedia.org/wiki/",i)
page<- read_html(url) 
b <- page%>%
html_nodes ('h2.flow-title') %>%
html_nodes ('a.page-link') %>%
as.character()
dff<- data.frame(b)
}

问题是这段代码只保存了上一个国家的数据，即运行第一个国家并获取html_nodes（保存它），但是当运行下一个国家时，第一个数据被删除并替换为这个新的，依此类推，最终结果只是来自最后一个国家的数据。 我会很感激你的帮助！

Answer 1

正如评论中提到的这一行：dff<- data.frame(b) 在每次循环迭代中都写完了 dff。解决方案是创建一个空列表并将数据附加到列表中。
在此示例中，列表项以所查询的国家/地区命名。

library(rvest)
country <- c("Canada", "US", "Japan", "China")

#initialize the empty list
dff<- list()

for ( i in country ) {
  url<-paste0("https://en.wikipedia.org/wiki/",i)
  page<- read_html(url) 
  b <- page%>%
    html_nodes ('h2.flow-title') %>%
    html_nodes ('a.page-link') %>%
    as.character()
#append new data onto the list
  dff[[i]]<- data.frame(b)
}

要访问数据，可以使用 dff$Canada 或 lapply 来处理整个列表。

注意：我运行了您的示例，但没有返回任何结果，最好仔细检查节点 ID。