我正在学习 R 中的网络抓取，运行代码后遇到错误：错误

Question

我正在学习 R 中的网页抓取，尝试在以下代码的帮助下抓取有关数学堆栈交换的问题页面：

以下代码的目的是收集问题的所有链接，然后抓取问题的可接受解决方案。但是，当我运行代码时，最后出现了错误：

open.connection(x, "rb") 中的错误：HTTP 错误 404。

library(rvest)

link <- "https://math.stackexchange.com/questions/tagged/integration"
url <- read_html(link) 
page <- url %>%   html_nodes(".question-hyperlink")  %>%  html_text()

questions_link <- url %>%   html_nodes(".question-hyperlink") %>% 
  html_attr("href") %>% paste("https://math.stackexchange.com", .,sep = "")


get_answer = function(answer_link){
    answer_page <- read_html(answer_link)
  solution = answer_page %>% html_nodes(".accepted-answer") %>% html_text() 
  return(solution)
}

solution_accepted <- sapply(questions_link, FUN = get_answer) 

你能帮忙解决一下吗，会很有帮助的。谢谢..

Answer 1

问题是在questions_link 中提取的其他链接不是该论坛的问题。它正在从右侧的“网络热点问题”中提取链接。

进一步过滤链接以仅获取来自论坛的问题。

library(rvest)

questions_link <- url %>%   
  html_nodes("h3 a.question-hyperlink") %>%
  html_attr("href") %>% 
  paste0("https://math.stackexchange.com", .)