网络抓取 - 未找到记录

Question

我正在尝试 rbind 系列 HTML 表（来自具有相同 col 名称的不同页面），但有些页面“没有记录”，我想跳过这些页面或将 NULL 分配给数据框。

示例数据框 1

url="http://stats.espncricinfo.com/ci/engine/player/28081.html?class=2;filter=advanced;floodlit=1;innings_number=1;orderby=start;result=1;template=results;type=batting;view=match"

Batting=readHTMLTable(url)

Batting$"Match by match list"

Batting<-Batting$"Match by match list"

数据框 2

    url="http://stats.espncricinfo.com/ci/engine/player/625383.html?class=2;filter=advanced;floodlit=1;innings_number=1;orderby=start;result=2;template=results;type=batting;view=match"



Batting=readHTMLTable(url)

Batting$"Match by match list"

Batting<-Batting$"Match by match list"

有几个这样的 Dataframes 有表格形式的记录，有些没有记录

当我 rbind 没有记录的时候导致最终数据帧出错

final_DF<-rbind(Dataframe1,Dataframe2)

我该如何解决这个问题！？

PS：对于每个 url 查询，我会根据我对数据框的要求添加某些列集（比如使用 cbind 的 5 个附加列）。

Answer 1

您可以执行以下操作：

require(rvest)
require(tidyverse)

urls <- c(
  "http://stats.espncricinfo.com/ci/engine/player/28081.html?class=2;filter=advanced;floodlit=1;innings_number=1;orderby=start;result=1;template=results;type=batting;view=match",
  "http://stats.espncricinfo.com/ci/engine/player/625383.html?class=2;filter=advanced;floodlit=1;innings_number=1;orderby=start;result=2;template=results;type=batting;view=match"
)

extra_cols <- list(
  tibble("Team"="IND","Player"="MS.Dhoni","won"=1,"lost"=0,"D"=1,"D/N"=0,"innings"=1,"Format"="ODI"),
  tibble("Team"="IND","Player"="MS.Dhoni","won"=1,"lost"=0,"D"=1,"D/N"=0,"innings"=1,"Format"="ODI")
)

doc <- map(urls, read_html) %>% 
  map(html_node, ".engineTable:nth-child(5)")

keep <- map_lgl(doc, ~class(.) != "xml_missing")

map(doc[keep], html_table, fill = TRUE) %>% 
  map2_df(extra_cols[keep], cbind)

关键部分是discard，它删除了类 "xml_missing" 的所有列表元素，例如空的。

我与您的代码比较，我使用 CSS 选择器来指定应该继承表的 html_node。见http://selectorgadget.com/

您的rbind 也是由map2_df（最后一行）在内部完成的

这导致：（使用%>% {head(.[,c("Bat1", "Runs", "Team")])}）

  Bat1 Runs Team
1    0    0  IND
2    3    3  IND
3  148  148  IND
4   56   56  IND
5   38   38  IND
6   20   20  IND