如何刮掉这个 squawka 页面？

Question

我正在尝试提取以下信息：

在页面上

http://epl.squawka.com/stoke-city-vs-arsenal/01-03-2014/english-barclays-premier-league/matches

按下红色的“完整统计”按钮会打开一个菜单，其中包括（在左侧）“交叉”按钮。这将在屏幕右侧打开一个带有 19 个箭头的足球场图像，这些是斯托克在斯托克-阿森纳比赛中的传中。它们是彩色编码的，红色 = 未完成，绿色 = 完成，黄色 = 关键通行证。 当你点击一个箭头时，它会告诉你是谁传球的以及在比赛的哪一分钟。 此外，箭头还显示了球员在传球时的站立位置以及被传球的球员所在的位置。

我希望能够抓取此页面，以便获得包含列的表格：

团队；发件人姓名；发件人位置；接收者位置；分钟;箭头颜色

这是斯托克队的传球，我也想自动为阿森纳重复这个（因此，上表中的“俱乐部”列）。

虽然我过去曾抓取过网页，但这些都是静态的相当简单的页面，我完全不知道如何从这个页面上抓取信息。 我非常感谢有关如何抓取我刚才描述的数据的帮助。我精通 R，因此我特别感谢能帮助我在 R 中实现这一目标的代码，但我也非常感谢使用其他语言或软件的帮助。

谢谢你， 彼得

Answer 1

Peter 正如他们所说的那样，您可以使用 Selenium 做到这一点。我也喜欢用优秀的selectr package 我们的想法是与网站进行短暂的交互，然后在其他地方进行其余的操作。 squawkData 应该包含所有需要的内容。

# RSelenium::startServer() # if needed
require(RSelenium)
remDr <- remoteDriver()
remDr$open()
remDr$setImplicitWaitTimeout(3000)
remDr$navigate("http://epl.squawka.com/stoke-city-vs-arsenal/01-03-2014/english-barclays-premier-league/matches")
squawkData <- remDr$executeScript("return new XMLSerializer().serializeToString(squawkaDp.xml);", list())
require(selectr)
example <- querySelectorAll(xmlParse(squawkData[[1]]), "crosses time_slice")
example[[1]]


<time_slice name="0 - 5" id="1">
  <event player_id="531" mins="4" secs="39" minsec="279" team="44" type="Failed">
    <start>73.1,87.1</start>
    <end>97.9,49.1</end>
  </event>
</time_slice> 

免责声明我是 RSelenium 软件包的作者。可以在RSelenium basics 和 RSelenium: Testing Shiny apps.

可以使用选择器轻松访问更多信息：

> xmlValue(querySelectorAll(xmlParse(squawkData[[1]]), "players #531 name")[[1]])
[1] "Charlie Adam"

> xmlValue(querySelectorAll(xmlParse(squawkData[[1]]), "game team#44 long_name")[[1]])
[1] "Stoke City"

更新：
要将示例处理为数据框，您可以执行以下操作

out <- lapply(example, function(x){
# handle each event
  if(length(x['event']) > 0){
    res <- lapply(x['event'], function(y){
      matchAttrs <- as.list(xmlAttrs(y))
      matchAttrs$start <- xmlValue(y['start']$start)
      matchAttrs$end <- xmlValue(y['end']$end)
      matchAttrs
    })
    return(do.call(rbind.data.frame, res))
  }
}
)

> head(do.call(rbind, out))
        player_id mins secs minsec team   type     start       end
event         531    4   39    279   44 Failed 73.1,87.1 97.9,49.1
event5        311    6   33    393   31 Failed 92.3,13.1 93.0,31.0
event1        376    8   57    537   31 Failed  97.7,6.1 96.7,16.4
event6        311   13   50    830   31 Failed  99.5,0.5 94.9,42.6
event11       311   14   11    851   31 Failed  99.5,0.5 93.1,51.0
event7        311   17   41   1061   31 Failed 99.5,99.5 92.6,50.1