如何在 R 中抓取实时 Java 脚本网页？

Question

我想从http://stats.statbroadcast.com/statmonitr/?id=107165 中逐一搜索。该链接会将您带到“拆分框”选项卡。我有兴趣通过播放标签以及主场统计数据和访客统计标签来抓取比赛。问题之一是，无论您切换到哪个选项卡，url 都不会改变。如果您使用选择器小工具，则所有选项卡的主要内容的 css-selector 也是相同的，即“#stats”。我是网络抓取的新手，大多数时候我可以使用包rvest 成功抓取一个 html 页面，但不幸的是，我不知道应该如何继续使用 javascript。我听说过 JSON，但我不确定如何解决所有选项卡具有相同 url 的问题。

我的主要目标是能够在比赛直播时通过比赛、主场统计数据和访客统计数据标签来抓取比赛。

任何帮助将不胜感激。如果我应该提供更多信息，请告诉我。

Answer 1

您可以使用RSelenuim 执行以下操作：

require(RSelenium)
RSelenium::startServer()
remDr <- remoteDriver()
remDr$open()
remDr$navigate("http://stats.statbroadcast.com/statmonitr/?id=107165")

现在应该会打开一个 Firefox 窗口，您可以在其中像平常一样浏览。 doc <- remDr$getPageSource() 为您提供当前网页的源代码。您可以使用rvest 来抓取此代码，如下所示：

doc <- remDr$getPageSource()[[1]]
require(rvest)
current_doc <- read_html(doc)

如果你想自动化“浏览”，你可以例如。导航到“Play by Play”页面，如下所示：

webElem <- remDr$findElement(using = "css selector", '#bb_b6')
remDr$mouseMoveToLocation(webElement = webElem)
remDr$click(1)

最后：关闭远程驱动并关闭 selenium-server

#shutdown
remDr$close()
browseURL("http://localhost:4444/selenium-server/driver/?cmd=shutDownSeleniumServer")

更多详情见： https://cran.r-project.org/web/packages/RSelenium/vignettes/RSelenium-basics.html

编辑： current_doc 在您执行 doc <- remDr$getPageSource()[[1]] 时捕获网站原样。这不是实时的。这是一张1次的照片。

如果要抓取“期间 I”，请执行以下操作： 第一次导航到“Play by Play”（如上所示）-Sys.sleep(3) 直到网站加载完毕-然后导航到“Period I”，就像使用另一个 css-selector 导航到“Play by Play”一样。

如果您到达“Period I”网页，请查看您的远程驱动程序（也就是您控制的浏览器窗口）。

到达后执行doc <- remDr$getPageSource()[[1]] 并分析内容。