R / Rvest / RSelenium：从 JS 站点抓取数据

Question

我是 R 和 Rvest 网络抓取主题的新手。使用 rvest，您可以抓取静态 HTML，但我发现 rvest 正在努力从基于 JS 的繁重站点中抓取数据。

我发现了一些文章或博客文章，但它们似乎被贬低了 https://awesomeopensource.com/project/yusuzech/r-web-scraping-cheat-sheet

在我的情况下，我想从体育博彩网站上获取赔率，但由于 JS，我认为使用 rvest 和 SelectorGadget 是不可能的。

2018 年有一篇关于从 PaddyPower(https://www.r-bloggers.com/how-to-scrape-data-from-a-javascript-website-with-r/) 中抓取 Odds 的文章，但这也已经过时了，因为 PhantomJS 不再可用。 RSelenium 似乎是一种选择，但 repo 有很多问题https://github.com/ropensci/RSelenium。

那么是否可以在当前状态下使用 RSelenium，或者我有什么选择来代替 RSelenium？

亲切的问候

Answer 1

在wdman 包的帮助下，我在使用RSelenium 时没有遇到任何问题，这让我不必为Docker 烦恼。 wdman 还会获取您需要的所有二进制文件（如果它们尚不可用）。这是一个很好的魔法。
这是一个使用 Chrome 启动 Selenium 实例的简单脚本，打开一个站点，以 xml 格式获取内容，然后再次将其全部关闭。

library(wdman)
library(RSelenium)
library(xml2)

# start a selenium server with wdman, running the latest chrome version
selServ <- wdman::selenium(
  port = 4444L,
  version = 'latest',
  chromever = 'latest'
)

# start your chrome Driver on the selenium server
remDr <- remoteDriver(
  remoteServerAddr = 'localhost',
  port = 4444L,
  browserName = 'chrome'
)

# open a selenium browser tab
remDr$open()

# navigate to your site
remDr$navigate(some_url)

# get the html contents of that site as xml tree
page_xml <- xml2::read_html(remDr$getPageSource()[[1]])

# do your magic
# ... check doc at `?remoteDriver` to see what your remDr object can help you do.

# clean up after you
remDr$close()
selServ$stop()