网页抓取：在 R 中的 for 循环中组合表格

Question

我正在使用循环从网站上抓取表格。无法弄清楚如何将表格组合成一个数据框。以下代码用于抓取一页的相关信息，但我不确定如何将新表添加到第一个（或预先存在的）。谢谢。

for (i in 1:10){
  
    link <- paste0("https://website.com/page",i)
    remDr$navigate(link)  

    # grab the html
    pg <- remDr$getPageSource() %>% .[[1]] %>%
         read_html()

    #grab the correct table
    table <- pg %>%
            html_nodes("table") %>%
            .[2] %>%
            html_table(fill = TRUE) %>%
            .[[1]] 
    
    # combine tables?
  
}

Answer 1

如果要保留循环，请在循环体之前声明一个数据框，并在每次迭代时使用rbind 不断添加：

big_df <- data.frame()

for (i in 1:10){

  link <- paste0("https://website.com/page", i)
  remDr$navigate(link)  

  # grab the html
  pg <- remDr$getPageSource() %>% .[[1]] %>%
          read_html()

  # grab the correct table
   table <- pg %>%
              html_nodes("table") %>%
              .[2] %>%
              html_table(fill = TRUE) %>%
              .[[1]] 

  # combine tables?
  big_df <- rbind(big_df, table)
}

一种更好（更快）的方法是将循环体放在一个函数中，将其应用到1:10 以生成数据帧列表，然后使用data.table::rbindlist 将所有这些放在一起：

df_list <- lapply(1:10, function (i) {

             link <- paste0("https://website.com/page", i)
             remDr$navigate(link)  

             # grab the html
             pg <- remDr$getPageSource() %>% .[[1]] %>%
                     read_html()

             # grab the correct table
             table <- pg %>%
                        html_nodes("table") %>%
                        .[2] %>%
                        html_table(fill = TRUE) %>%
                        .[[1]]

             return(table)
           })

big_df <- data.table::rbindlist(df_list)