如何从 rvest::html_text 中提取所需数据

Question

我无法从网站中提取价格元素：

“https://www.eventbrite.com/”使用 rvest

我使用 Select Gadget 找到了选择器，并有以下最小选择器“.eds-l-mar-top-1”，我用它来定位价格。我尝试将 xml 数据保存为数据框，但收到以下错误消息：

as.data.frame.default(page_html) 中的错误： 不能将类'c("xml_document", "xml_node")' 强制转换为data.frame

我已尝试使用以下内容过滤价格：

price <- page_html %>% html_nodes('js-display-price') %>% html_text()

但价格为空。

getYear = "2019"
getWeek = "31"

base_url = "https://www.eventbrite.com/"
query_params = list(yr=getYear, wk=getWeek)

resp <- GET(url=base_url, query=query_params)

page_html <- read_html(resp)

# price included in the details of the following tag
page_html %>% 
  html_nodes(".eds-l-mar-top-1") %>%
  html_text(trim = TRUE)

我想提取以下数据：

活动名称、日期和价格

Answer 1

我看到动态加载但在响应中其他地方的 javascript 对象中存在的内容。您可以正则表达式输出对象并使用 json 解析器进行处理。

library(httr)
library(rvest)
library(stringr)

getYear = "2019"
getWeek = "31"

base_url = "https://www.eventbrite.com/"
query_params = list(yr=getYear, wk=getWeek)

resp <- GET(url=base_url, query=query_params)

r <- read_html(resp) %>% 
  html_nodes('body') %>% 
  html_text() %>% 
  toString()

x <- str_match_all(r,'window\\.__SERVER_DATA__ = (.*);')  
json <- jsonlite::fromJSON(x[[1]][,2])
print(json$suggestions$events$ticket_availability)
print(json$suggestions$events)