【发布时间】:2019-10-11 07:19:18
【问题描述】:
目前我正在使用 Rselenium 做一个网络爬虫项目,需要依次打开大约 100,000 个网页并进行信息收集:
url <- paste0("www.111", r0[ii],".com")
remDr$open()
remDr$navigate(url)
似乎这个过程中最耗时的部分是打开一个新网页,尤其是加载广告、外部链接等。那么我怎么能在特定的持续时间(例如 2 秒)内运行这种 R 代码和然后停止它,并运行以下信息收集过程?谢谢。
【问题讨论】:
-
不清楚要停止什么?如果没有完成,您是否只想在 2 秒后停止一个功能?或者您是否运行多个函数并希望在 2 秒后停止函数列表,并在新 url 上启动新的函数列表?
-
我想在运行后(并在 2 秒后停止)
remDr$navigate(url)继续运行以下功能,例如content <- read_html(remDr$getPageSource()[[1]][1]) %>% html_nodes("#aaa") %>% html_text()。remDr$navigate(url)函数是唯一一个如果没有完成,我想在 2 秒后停止的函数。