在网页抓取中找不到网页，我如何在 R 中找到它？

Question

我已经使用 R 大约一年了，我很喜欢它。我最近进入了文本挖掘领域，遇到了一些困难。我正在尝试使用来自网站的信息创建一个数据框。我一直在抓取数据并且能够成功创建两个变量。在尝试创建第三个变量时它不起作用。当我查看我制作的表格时，该变量的内容显示“抱歉，找不到网页”。但是，我知道它在那里！有什么想法吗？谢谢大家！

link = "https://www.fmprc.gov.cn/mfa_eng/wjdt_665385/zyjh_665391/"
page = read_html(link)

title = page %>% html_nodes(".newsLst_mod a") %>% html_text()
slinks = page %>% html_nodes(".newsLst_mod a") %>%
  html_attr("href") %>% paste("https://www.fmprc.gov.cn", ., sep = "")
date = page %>% html_nodes(".newsLst_mod span") %>% html_text()

这里是我遇到麻烦的地方...我在使用 Selector Gadget 时得到“p”并将其放在 html_ 节点函数中...但是，这似乎不起作用，我要空出来.如果我在页面上稍微调整一下抓取，当我查看它时，它可能在桌面上什么都没有。

get_s = function(slinks) {
  speeches_link = read_html(slinks)
  speech_words = speeches_link %>% html_nodes("p") %>%
    html_text() %>% paste(collapse = ",")
  return(speech_words)
}

What the table looks like

words = sapply(slinks, FUN = get_s)

speeches = data.frame(title, date, words, stringsAsFactors = FALSE)

Answer 1

您需要在每个 URL 中粘贴的链接是 https://www.fmprc.gov.cn/mfa_eng/wjdt_665385/zyjh_665391。

试试下面的 -

library(rvest)

slinks = page %>% html_nodes(".newsLst_mod a") %>%
  html_attr("href") %>% trimws(whitespace = '\\.')  %>% 
  paste0("https://www.fmprc.gov.cn/mfa_eng/wjdt_665385/zyjh_665391", .)

get_s = function(slinks) {
  speeches_link = read_html(slinks)
  speech_words = speeches_link %>% html_nodes("p") %>%
    html_text() %>% paste(collapse = ",")
  return(speech_words)
}

words = sapply(slinks, FUN = get_s)
words