R- 排除已经生成的随机数

Question

所以我正在用 R 编写一个网页抓取脚本，因为我正在抓取的特定网站对大量抓取数据的人不太友好，所以我将循环分解为只处理 10 个链接一次。但是，我仍然想以随机且缓慢的方式浏览所有链接。

productLink # A list of all the links that I'll be scraping
 x<- length(productLink)  
 randomNum <- sample(1:x, 10)
library(rvest)

for(i in 1:10){
url <- productLink[randomNum[i]]
specs <- url %>%
  html() %>%
  html_nodes("h5") %>%
  html_text()
specs

message<- "\n                Temporarily unavailable\n            "

if(specs == message){
  print("Item unavailable")
}
else{
  print("Item available")
}


}

现在，下次我运行这个 for 循环时，我想排除在之前的循环运行中已经尝试过的所有随机编号索引。这样，这个 for 循环每次运行 10 个新链接，直到所有链接都被使用。我想对此有另一个方面的意见。由于我可以通过蛮力抓取特定公司的网站来引发警报，有没有什么办法可以减慢这个循环，让它每隔几分钟运行一次？我正在考虑一个超时函数或类似的代码运行for循环一次，等待几分钟然后再次运行它（如上所述每次都有新链接）。有什么想法吗？

Answer 1

使用类似的东西。随机循环所有产品索引。

for (i in sample(1:x)){
  <Your code here>
  # Sleep for 120 seconds
  Sys.sleep(120)
}

如果你想一次做 10 个。每执行 10 次就休眠 120 秒。

n = 1
for (i in sample(1:x)){
  # Sleep for 120 seconds every 10 runs
  if (n == 10) {Sys.sleep(120); n = 0}
  n = n+1
  <Your code here>
}