【问题标题】:How to write a dynamic web address code in order to web scrape?如何编写动态网址代码以进行网页抓取?
【发布时间】:2021-03-15 15:12:32
【问题描述】:

我正在尝试编写用于网络抓取的代码,该代码将连接具有交替结尾的基本网址以检索特定网页数据。

.

例子:

基本地址:https://www.walkscore.com/score/

结束地址:/1234-fake-address-dr-54321-columbus-oh-12345

.

我在 Excel 文件的第二行第二列(数据从单元格 B2 开始)中列出了我所有的替代结尾,并且到目前为止有以下代码:

install.packages("openxlsx")
library(openxlsx)
install.packages("readxl")
library(readxl)
install.packages("XLConnect")
library(XLConnect)
install.packages("rio")
library(rio)
library(rvest)
install.packages('xlsx')
library(xlsx)
install.packages(“tidyverse”)
library(tidyverse)
install.packages(“readr”)
library(readr)

setwd("**personal directory**")

add <- readxl::excel_sheets("Walkability Addresses.xlsx")

**url<-html(paste("https://www.walkscore.com/score/",add$Full Address[1],sep=""))*

selector_name <- ".block-header-badge score-info-link "
walkability<-html_nodes(x = url, css = selector_name) %>%
  html_text()

script <- data.frame(add$Full Address[1]),walkability)

colnames(script) <- c("Address","Walkability Score")

for (i in 2:nrow(add)){
  
url<-html(paste("https://www.walkscore.com/score/",add$Full Address[i],sep=""))

selector_name <- ".block-header-badge score-info-link "
walkability<-html_nodes(x = url, css = selector_name) %>%
  html_text()

new_script <- data.frame(add$Full Address[i]),walkability)

colnames(new_script) <- c("Address",”Walkability Score”)  
 
script <- rbind(script, new_script)
}

.

为清楚起见,

完整地址 = 我要提取的结束数据的列名,[1] = 我试图让我的代码跳过一行(标题行)

*我在第三步后不断收到以下错误:

错误:“url

我相信它指的是 $ 和 [],因为我尝试不使用这些符号并被告知没有问题。如何更好地引用我想要提取的 Excel 数据,以便我可以使代码动态并能够在列表中显示?谢谢!!!

【问题讨论】:

    标签: r web-scraping


    【解决方案1】:

    我认为您对Full adress 有疑问。

    我觉得这个空间可能会造成一些麻烦,它会尝试访问add$Full

    你可以试试

    url<-html(paste("https://www.walkscore.com/score/",add$`Full Address`[i],sep=""))
    

    【讨论】:

      猜你喜欢
      • 2014-08-25
      • 1970-01-01
      • 2021-06-25
      • 2021-11-15
      • 1970-01-01
      • 1970-01-01
      • 2015-02-27
      • 2021-03-09
      • 1970-01-01
      相关资源
      最近更新 更多