如何使用 Python 绕过速率限制 ..HTML 错误 1015

Question

所以我创建了一个自动化机器人来在互联网上为我做一些事情..使用 Selenium Python..经过长时间的编码会话..在这个项目上工作的日日夜夜，我终于完成了它......只是随机收到错误 1015“您受到速率限制”。

我知道这是为了防止 DDOS 攻击。但这是一个重大打击。

我已联系网站解决问题，但无济于事..但他们使用的第三方安全软件说他们网站可以授予我的 ip 排除速率限制。

所以我想知道有没有其他方法可以绕过这个......也许从编码的角度来看...... 我认为清除 cookie 之类的东西不会解决任何问题..或者会因为它是我的特定 IP 地址而被他们阻止

注意： 我正在运行我的机器人的网站的 TofC 并没有说你不能在上面使用自动化软件..但它也没有说你也不能。

我不介意编写更多代码以防止随机访问拒绝..我认为持续 24 小时这可能是有害的，因为此构建的最后阶段是让我的程序每天运行很长时间。

您认为我可以与第三方安全部门沟通，要求他们要求网站授予我访问权限吗..我已经尝试通过网站解决问题。他们只说A。在那边说我很好 B. 问题很可能出在我这边 ..“也许某些恶意软件正试图访问我们的网站” .. 不是恶意软件，但是是机器人。这就是让我觉得如果我自己解决问题可能会更好的原因。

您认为我可能必须在进程之间实现等待时间或其他什么。我卡住了。

感谢您的帮助。而且它是一个机器人！

Answer 1

如果你被随机打招呼......

...暗示网站所有者实施了Rate Limiting，这会影响您的访问量。

---

限速原因

Cloudflare 可以对访问者流量进行速率限制，试图对抗可能的Dictionary attack。

---

速率限制阈值

在一般情况下，Cloudflare 在访问者流量超过速率限制阈值时对访问者进行速率限制，该阈值的计算方法是，将 24 小时未缓存的网站请求除以相同 24 小时内的唯一访问者.然后，除以估计的平均访问分钟数。最后，乘以 4（或更大）为您的网站确定每分钟的估计阈值。高于 4 的值很好，因为大多数攻击都比典型的流量速率高一个数量级。

---

解决方案

在这些情况下，潜在的解决方案是使用undetected-chromedriver 来初始化Chrome 浏览上下文。

undetected-chromedriver 是一个优化的 Selenium Chromedriver 补丁，它不会触发像 Distill Network / Imperva / DataDome / Botprotect.io 这样的反僵尸服务。它会自动下载驱动程序二进制文件并对其进行修补。

• 代码块：

  import undetected_chromedriver as uc
  from selenium import webdriver
  
  options = webdriver.ChromeOptions() 
  options.add_argument("start-maximized")
  driver = uc.Chrome(options=options)
  driver.get('https://bet365.com')
  

---

参考文献

您可以在以下位置找到一些相关的详细讨论：

• Selenium app redirect to Cloudflare page when hosted on Heroku
• Linkedin API throttle limit

Answer 2

我在这里为你看到了一些可能性：

• 引入对站点的请求之间的等待时间
• 减少您的请求
• 扩展您的机器人以检测它何时达到限制并更改您的 IP 地址（例如通过重新启动路由器）

最后一个是我认为最不受欢迎的一个，也是最耗时的一个。

Answer 3

首先：阅读网站的使用条款，例如查看 robots.txt，通常位于网站的根目录，如 www.google.com/robots.txt 。请注意，违反网站所有者的明确条款可能是非法的，具体取决于司法管辖区，并可能导致所有者阻止您的工具和/或 IP。

https://www.robotstxt.org/robotstxt.html

这会让您知道网站所有者明确允许自动化和抓取的内容。

在您查看了网站的条款并了解了他们允许的内容之后，他们没有回复您，并且您确定您没有违反网站的使用条款，唯一真正的其他选择是使用代理和/ 或 VPS，将为运行脚本的系统提供不同的 IP。