使用 rvest 抓取 Google 搜索结果时出现 Character(0) 错误

Question

我正在尝试抓取 Google 搜索的标题。但是，不管我用rvest 尝试什么，结果总是返回character(0)。

这里是搜索rstudio的代码：

library(rvest)
library(dplyr)

web1 <- read_html("https://www.google.at/search?q=rstudio") 
header <-web1 %>%
    html_nodes(".DKV0Md") %>%
    html_text()
header 

我在SelectorGadget 中签入的节点名称，所以这应该不是问题。我应该如何解决这个问题？

Answer 1

也许，我们可以使用：

library(rvest)
library(dplyr)
web1 %>% 
   html_nodes(xpath = '//div/div/div/a/div[not(div)]') %>% 
   html_text

输出：

#[1] "rstudio.com"        
#[2] "rstudio.cloud"           
#[3] "en.wikipedia.org › wiki › RStudio"    
# ....