Rvest 在一个函数中抓取多个数据

Question

我知道当页面分页时如何循环，但我希望在一个循环函数中抓取多个信息/html_nodes，但我不确定你是否可以设置它。到目前为止，我已经尝试了以下方法。它基本上是一个求职网站，我想要公司名称、公司描述和空缺职位数量。

我使用sprintf 获取第 1-14 页。

urlingtek <- sprintf("https://www.jobindex.dk/virksomhedsoversigt/kanal/ingenioer?page=%d", 1:14)

我做了一个循环，它可以抓取一个数据源。

company <- function(virksomhed){
  company %>% read_html() %>% 
      html_nodes('.jix_company_name_link a') %>% 
      html_text()
}
virk <- lapply(urlingtek, virksomhed)

但如果可能的话，我希望一次将所有实用程序都清理掉。

到目前为止，我已经尝试过使用

jobvirksom <- function(alt){
    alt %>% 
        read_html() %>% 
        html_nodes('.jix_company_name_link a') %>% 
        html_text()
    html_nodes('.jix_companyindex_overview_ad_content') %>% 
        html_text()
    html_nodes('.jix_active a') %>% 
        html_text()
}

到目前为止没有任何运气。如果我能一次刮掉它会好很多，按lapply并变成一个列表。

Answer 1

这是解决方案的开始。在这种情况下，只有 14 个网页需要解析，有时只使用循环会更容易。对于这样的页数，for 循环和 lapply 之间的时间是微不足道的。

我注意到网页的格式不一致，因此当数据丢失或不一致时，此解决方案需要额外的工作。这将适用于前 2 页，并在缺少概述的第三页失败。

library(rvest)
urlingtek <- sprintf("https://www.jobindex.dk/virksomhedsoversigt/kanal/ingenioer?page=%d", 1:14)

#define empty data frame to store all data
alllistings<-data.frame()

for (i in urlingtek){
  print(i)
  #read the page just once
  page<-read_html(i)

  #parse company name
  company<-page%>%html_nodes('.jix_company_name_link a') %>% html_text()
  #remove blank company names
  company<-trimws(company)
  company<-company[nchar(company)>1]
 #parse company overview
  overv<-page %>% html_nodes('.jix_companyindex_overview_ad_content') %>% 
  html_text()
  #parse active information
  active<-page %>% html_nodes('.jix_active a') %>%  html_text()

  #create temporary dataframe to store data from this loop
  tempdf<-data.frame(company, overv, active)
  #combine temp with all data
  alllistings<-rbind(alllistings, tempdf)
}