【发布时间】:2021-03-15 15:12:32
【问题描述】:
我正在尝试编写用于网络抓取的代码,该代码将连接具有交替结尾的基本网址以检索特定网页数据。
.
例子:
基本地址:https://www.walkscore.com/score/
结束地址:/1234-fake-address-dr-54321-columbus-oh-12345
.
我在 Excel 文件的第二行第二列(数据从单元格 B2 开始)中列出了我所有的替代结尾,并且到目前为止有以下代码:
install.packages("openxlsx")
library(openxlsx)
install.packages("readxl")
library(readxl)
install.packages("XLConnect")
library(XLConnect)
install.packages("rio")
library(rio)
library(rvest)
install.packages('xlsx')
library(xlsx)
install.packages(“tidyverse”)
library(tidyverse)
install.packages(“readr”)
library(readr)
setwd("**personal directory**")
add <- readxl::excel_sheets("Walkability Addresses.xlsx")
**url<-html(paste("https://www.walkscore.com/score/",add$Full Address[1],sep=""))*
selector_name <- ".block-header-badge score-info-link "
walkability<-html_nodes(x = url, css = selector_name) %>%
html_text()
script <- data.frame(add$Full Address[1]),walkability)
colnames(script) <- c("Address","Walkability Score")
for (i in 2:nrow(add)){
url<-html(paste("https://www.walkscore.com/score/",add$Full Address[i],sep=""))
selector_name <- ".block-header-badge score-info-link "
walkability<-html_nodes(x = url, css = selector_name) %>%
html_text()
new_script <- data.frame(add$Full Address[i]),walkability)
colnames(new_script) <- c("Address",”Walkability Score”)
script <- rbind(script, new_script)
}
.
为清楚起见,
完整地址 = 我要提取的结束数据的列名,[1] = 我试图让我的代码跳过一行(标题行)
*我在第三步后不断收到以下错误:
错误:“url
我相信它指的是 $ 和 [],因为我尝试不使用这些符号并被告知没有问题。如何更好地引用我想要提取的 Excel 数据,以便我可以使代码动态并能够在列表中显示?谢谢!!!
【问题讨论】:
标签: r web-scraping