查询选择器全部在 rvest 包中

Question

我尝试执行这个 javascript 命令：

document.querySelectorAll('div.Dashboard-section div.pure-u-1-1 span.ng-scope')[0].innerText

在 r 中使用 rvest 包使用以下代码：

library(rvest)

url <- read_html("")

url %>%
  html_nodes("div.Dashboard-section div.pure-u-1-1 span.ng-scope") %>%
  html_text()

但我认为是这样的：

character(0)

我也预料到了：

"Displaying results 1-25 of 10,897"

我能做什么？

Answer 1

简而言之，rvest 包可以获取 HTML，但它不能执行 Javascript。您尝试获取的页面通过 AJAX、javascript 加载数据。

您可以按照用户 neoFox 的建议使用 RSelenium 包作为解决方法。 Selenium Webdriver 会为你启动 Firefox 或 Chrome，导航到页面，等待它加载。并从 HTML DOM 中获取数据片段。

或者使用更小的phantomjs 无头浏览器，它将 HTML 页面下载到 html 文件，而不会弹出浏览器 GUI。 Read in and parse 下载的带有 R 的 HTML 文件。

两者都需要一些认真的配置。 Selenium 是基于 Java 的。 Phantomjs 至少需要阅读它的文档。

您还可以检查页面，找出网站发出的 POST 请求，然后自己发送此 POST。然后获取它返回的 JSON 并自己计算结果项。