{xml_nodeset (0)} 尝试重现网页抓取示例时出现问题（不要认为这是 JS 问题）

Question

我正在尝试使用rvest 学习网络抓取，并尝试重现此处给出的示例：

https://www.r-bloggers.com/using-rvest-to-scrape-an-html-table/

安装了rvest后，我只是复制粘贴了文章中给出的代码：

library("rvest")
url <- "http://en.wikipedia.org/wiki/List_of_U.S._states_and_territories_by_population"
population <- url %>%
  read_html() %>%
  html_nodes(xpath='//*[@id="mw-content-text"]/table[1]') %>%
  html_table()
population <- population[[1]]

唯一的区别是我使用read_html() 而不是html()，因为后者已被弃用。

与文章中报告的输出不同，这段代码产生了熟悉的：

Error in population[[1]] : subscript out of bounds

其起源是在没有最后两行的情况下运行代码给population一个值{xml_nodeset (0)}

之前所有关于此的问题都表明这是由于表格在 javascript 中动态格式化造成的。但这里的情况并非如此（除非 Wikipedia 自 2015 年 rbloggers 文章以来已更改其格式）。

任何见解都将不胜感激，因为我不知所措！

Answer 1

html 已更改。该 xpath 不再有效。您可以执行以下操作：

library("rvest")
url <- "http://en.wikipedia.org/wiki/List_of_U.S._states_and_territories_by_population"
population <- url %>%
  read_html() %>%
  html_node(xpath='//table') %>%
  html_table()

由于我已切换到返回第一个匹配项的 html_node，因此我不再需要 [1] 的索引。

较长的 xpath 现在在您的原始路径中有一个 div：

//*[@id="mw-content-text"]/div/table[1]

这就是你在浏览器中右键复制xpath得到的路径在桌子上。

您要避免使用长 xpath，因为它们很脆弱，并且可以看出，当页面的 html 更改时很容易损坏。

您也可以使用 css 并按类抓取（例如）

library("rvest")
url <- "http://en.wikipedia.org/wiki/List_of_U.S._states_and_territories_by_population"
population <- url %>%
  read_html() %>%
  html_node(css='.wikitable') %>%
  html_table()