【发布时间】:2019-09-17 03:49:32
【问题描述】:
使用R从多个在线XML文件中提取相关数据创建数据库
我刚开始学习 R 来做文本分析。这是我正在尝试做的事情:我正在尝试使用 rvest in r 从在线 XML 文件创建第 116 届国会法案摘要的 CSV 数据库。数据库应该有两列:
- 账单的标题。
- 法案摘要文本。
网站来源是https://www.govinfo.gov/bulkdata/BILLSUM/116/hr
我遇到的问题是
我想收集从搜索返回的所有演讲。所以我需要网络抓取多个链接。但我不知道如何确保 r 运行具有一系列不同链接的功能,然后提取预期的数据。
我已经尝试了以下代码,但我不确定如何将它们准确地应用于我的具体问题。另外,我收到了我的代码的错误报告。请在下面查看我的代码。提前感谢您的帮助!
library(rvest)
library(tidyverse)
library(purrr)
html_source <- "https://www.govinfo.gov/bulkdata/BILLSUM/116/hr?page="
map_df(1:997, function(i) {
cat(".")
pg <- read_html(sprintf(html_source, i))
data.frame(title = html_text(html_nodes(pg, "title")),
bill_text %>% html_node("summary-text") %>% html_text(),
stringsAsFactors = FALSE)
}) -> Bills
open.connection(x, "rb") 中的错误:HTTP 错误 406。
【问题讨论】:
标签: r xml web-scraping rvest xml2